Monitoring social distancing with single image depth estimation
원문 초록
The recent pandemic emergency raised many challenges regarding the countermeasures aimed at containing the virus spread, and constraining the minimum distance between people resulted in one of the most effective strategies. Thus, the implementation of autonomous systems capable of monitoring the so-called social distance gained much interest. In this paper, we aim to address this task leveraging a single RGB frame without additional depth sensors. In contrast to existing single-image alternatives failing when ground localization is not available, we rely on single image depth estimation to perceive the 3D structure of the observed scene and estimate the distance between people. During the setup phase, a straightforward calibration procedure, leveraging a scale-aware SLAM algorithm available even on consumer smartphones, allows us to address the scale ambiguity affecting single image depth estimation. We validate our approach through indoor and outdoor images employing a calibrated LiDAR + RGB camera asset. Experimental results highlight that our proposal enables sufficiently reliable estimation of the inter-personal distance to monitor social distancing effectively. This fact confirms that despite its intrinsic ambiguity, if appropriately driven single image depth estimation can be a viable alternative to other depth perception techniques, more expensive and not always feasible in practical applications. Our evaluation also highlights that our framework can run reasonably fast and comparably to competitors, even on pure CPU systems. Moreover, its practical deployment on low-power systems is around the corner.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
G6D: 로봇 조작을 위한 기하학 기반 학습 불필요 RGB-D 6D 자세 솔버
G6D: Geometric Learning-Free RGB-D 6D Pose Solver for Robotic Manipulation
6D 객체 자세 추정은 로봇 조작 및 자동화의 기초이다. 최근 제로샷(zero-shot) 방법은 보지 못한 객체에 대한 일반화를 크게 개선했지만, 대부분은 여전히 상당한 GPU 연산 및 메모리 요구가 따르는 대규모 사전학습(pre-training) 모델에 의존한다. 이러한 요구사항은 인식, 계획, 제어가 제한된 연산 자원을 공유하는 로봇 플랫폼에서의 배포를 복잡하게 하며, 학습된 중간 표현은 과제별 적응을 위한 기하학적 해석 가능성을 제한적으로만 제공한다. 이러한 한계를 해소하기 위해 학습 불필요·기하학 주도 RGB-D 6D 자세 솔버인 G6D를 제안한다. RGB-D 관측, 객체 인스턴스 마스크, 카메라 내부 파라미터, CAD 모델이 주어지면 G6D는 템플릿 기반 기하학적 매칭으로 자세 가설을 생성하고 실루엣 및 �depth 일관성을 이용해 이를 정제하여 순수 기하학 주도 자세 추정 패러다임을 형성한다. 이 패러다임은 사전학습된 시각 모델도, 대상별 학습도 필요로 하지 않으며, 자세 추정 전 과정에서 해석 가능한 기하학적 표현을 유지한다. 더욱이 조절 가능한 가설 개수는 유연한 정확도-연산 trade-off를 제공하며, CPU 전용 구성은 GPU 자원 없이도 배포를 지원한다. LineMOD 및 BOP19 데이터셋 다섯 개에 대한 실험은 우수한 성능을 보여준다. 실세계 pick-and-place 실험은 로봇 조작에 대한 G6D의 적용 가능성을 추가로 보여준다. 전체 프로젝트는 https://ai4control.github.io/G6D-Project-Page 에서 공개되어 있다.
이중 나선 액티브 지오메트리: 선택적 기권을 통한 LiDAR 앵커 기반 다중 뷰 깊이 추정
Double-Helix Active Geometry: LiDAR-Anchored Multi-View Depth with Selective Abstention
최근 아이폰에 탑재된 LiDAR 스캐너와 같은 소비자용 깊이 센서는 미터 단위의 거리를 제공하지만, 유효 범위가 짧고 반환 포인트가 희소하다. 우리는 DH-Active를 제시한다. 이는 경량의 학습 불필요(training-free) 지오메트리 백엔드로, 센서를 깊이의 유일한 소스가 아닌 미터 기준자(metric ruler)로 취급한다. 근거리 반환값은 PnP를 통해 두 뷰의 미터 단위 상대 포즈를 고정(anchor)하고, 유효한 깊이 반환값이 없는 시각적으로 추적 가능한 샘플은 해당 포즈 하에서 삼각측량된다. 시차/재투영 게이트(parallax/reprojection gate)는 지오메트리가 불량하게 조건화된 곳에서 추정을 강제하는 대신 명시적 홀(hole)과 선택적 점수를 남기며 기권(abstain)한다. 나선형 샘플링, 희소 역투영, 홀 분류체계를 포함하되 전처리 및 다중 뷰 복원을 제외한 핵심 프론트엔드는 CPU에서 중앙값 지연 시간 1.11ms로 동작하며(OpenCV, 14스레드 사용), 이는 우리의 타이밍 환경에서 GPU 기반 DINOv2-L 시각 브랜치보다 약 38배 빠르다. 두 개의 아이폰 캡처와 공개 벤치마크인 TUM RGB-D 및 ARKitScenes 전반에 걸쳐, 홀드아웃 깊이는 중앙값 상대 오차 1.4~6.7%로 복원된다. 2m 이내 반환값만을 스케일 설정에 사용하고 독립적인 레이저 스캔을 정답으로 사용하는 통제된 ARKitScenes 프로토콜에서, DH-Active는 평가 가능한 원거리 후보에 대해 씬 중앙값 기준 13.4% 상대 오차로 64.2%의 씬 중앙값 커버리지를 달성한다; 장치 궤적에서의 직접 삼각측량은 사용 불가 수준이다. 또한 우리는 테스트에서 실패한 대안들도 보고한다: 단일 프레임 초점 흐림(defocus), 고전적 포커스 스택 깊이, 초점 흐림-LiDAR 융합, 양호한 시각-관성 궤적 위의 점대점 ICP, 그리고 홀에 대한 어텐션 재샘플링. 12.6억 파라미터 학습 모델은 오라클 스케일 정렬 후 더 높은 정확도를 유지한다. 본 연구의 기여는 보다 한정적이다: 미터 단위 희소 깊이, 명시적 기권, 학습된 파라미터 없음, 그리고 밀리초 수준의 CPU 비용.
MACRO: 클로즈업 렌더 최적화를 위한 학습 불필요 다중 평면 어텐션
MACRO: Training-free Multi-plane Attention for Closeup Render Optimization
학습 카메라보다 훨씬 가까이 장면을 확대하는 클로즈업 렌더링은 가상 제작과 인터랙티브 3D 콘텐츠에 중요하지만, 여전히 해결되지 않은 난제로 남아 있다. 3D Gaussian splatting(3DGS)은 고충실도 실시간 신규 시점 합성(novel view synthesis)을 가능하게 하지만, 근거리에서는 렌더링 품질이 저하된다. 학습 세트의 참조 이미지를 조건으로 렌더링을 향상시키는 최근 확산(diffusion) 기반 방법들은 이 설정에서 심각한 아티팩트를 생성한다. 우리는 이 실패를 분석하여 근본 원인을 규명한다: 클로즈업 뷰와 참조 뷰 간의 스케일 차이이다. 우리는 참조 조건부 향상 모델의 특징이 스케일 불변(scale-invariant)이 아님을 보이며, 이로 인해 동일한 내용이 서로 다른 스케일로 나타날 때 교차 뷰 어텐션(cross-view attention)이 잘못된 대응 관계를 검색하고, VAE 인코더가 스케일 등변(scale-equivariant)이 아니기 때문에 이 불일치를 잠재 공간에서 수정할 수 없음을 보인다. 이 분석을 바탕으로 우리는 MACRO(Multi-plane Attention for Closeup Render Optimization)를 소개한다. 이는 3DGS 기반의 고품질 클로즈업 신규 시점 합성을 위한 학습 불필요 방법이다. MACRO는 장면의 알려진 3D 구조를 활용하여 스케일 차이를 해소한다: 클로즈업을 깊이 평면으로 분해하고, 인코딩 전에 각 평면의 스케일에 맞게 이미지 공간에서 참조 이미지를 크롭하고 크기를 조정하며, 깊이 인식 어텐션 마스크를 적용하여 각 토큰이 스케일 일치 참조에만 어텐션하도록 한다. 이 방법은 아키텍처 변경이나 추가 학습을 필요로 하지 않는다. 우리는 또한 두 가지 새로운 클로즈업 신규 시점 합성 벤치마크와 이 설정에 대한 최초의 표준화된 평가 프로토콜을 기여하며, 두 벤치마크 모두에서 최신(state-of-the-art) 결과를 달성하여 재구성 및 지각적 메트릭 모두에서 기존 3DGS 및 확산 기반 방법들을 능가함을 보인다. 프로젝트 페이지: https://nitzanhod.github.io/MACRO
EffiNav: 효율적인 객체 목표 내비게이션을 위한 깊이와 비전-언어 융합
EffiNav: Fusing Depth and Vision-Language for Efficient Object Goal Navigation
미지의 환경을 탐험하며 대상 객체를 찾는 것은 자율 에이전트의 핵심 능력으로, 수색 및 구조부터 현장 로봇에 이르기까지 다양한 응용 분야가 있습니다. 이러한 작업의 단순화된 버전은 객체 목표 내비게이션(ObjNav)입니다. ObjNav에서 대상 객체에 성공적으로 도착하는 것은 성능의 기본 척도가 되지만, 내비게이션 궤적의 효율성 또한 에이전트가 얼마나 지능적으로 탐험하는지와 후속 작업에 얼마나 많은 시간이 남아있는지를 나타내므로 동등하게 중요합니다. 미지의 환경에서 효율적인 내비게이션의 핵심은 다음에 어디를 탐험할지 결정하는 데 있습니다. 많은 기존 연구가 이 핵심 과제를 해결하고 특정 설정에서 유망한 성능을 달성했으나, 최근의 학습 기반 모델과 비학습 프레임워크는 각각 일반화 및 효율성 문제로 인해 여전히 어려움을 겪고 있으며, 최악의 경우 이미 방문한 영역의 과도한 탐험이나 불필요한 왕복 움직임으로 이어질 수 있습니다. 우리는 널리 사용되는 두 시뮬레이션 벤치마크인 Habitat Matterport 3D(HM3D)와 Open-Vocabulary Object goal Navigation(OVON)에서 EffiNav를 평가하고, 실제 환경의 물리적 로봇에서 그 효과를 추가로 검증했습니다. 또한 대규모 시뮬레이션 에피소드에 대한 실패 분석을 수행했습니다. 최소한의 수정만으로 GOAT-BENCH 데이터셋의 메모리 증강 ObjNav 작업으로 EffiNav를 확장하여, 표준 ObjNav 설정을 넘어선 적응성을 입증했습니다. 성공률(SR)과 경로 길이 가중 성공(SPL)이라는 두 가지 표준 지표 전반에서 EffiNav는 최신 기준 모델과 대등하거나 이를 능가하는 성능을 보여, 효율성, 견고성 및 실용적 적용 가능성을 입증했습니다. 두 데이터셋의 서로 다른 강조점을 고려할 때, 이러한 성과는 해당 프레임워크가 효율적인 ObjNav에 있어 더 균형 잡혀 있고 일반화 가능함을 보여줍니다.
NoContactNoWorries: Estimating Contact through Vision and Proprioception for In-Hand Dexterous Manipulation
WildBox: 아프리카 사바나 야생동물의 항공 단안 3D 탐지를 위한 데이터셋 및 벤치마크
WildBox: A Dataset and Benchmark for Aerial Monocular 3D Detection of African Savanna Wildlife
토론
이 논문과 연결된 포럼 글이 아직 없습니다.