DeepPerimeter: Indoor Boundary Estimation from Posed Monocular Sequences
원문 초록
We present DeepPerimeter, a deep learning based pipeline for inferring a full indoor perimeter (i.e. exterior boundary map) from a sequence of posed RGB images. Our method relies on robust deep methods for depth estimation and wall segmentation to generate an exterior boundary point cloud, and then uses deep unsupervised clustering to fit wall planes to obtain a final boundary map of the room. We demonstrate that DeepPerimeter results in excellent visual and quantitative performance on the popular ScanNet and FloorNet datasets and works for room shapes of various complexities as well as in multiroom scenarios. We also establish important baselines for future work on indoor perimeter estimation, topics which will become increasingly prevalent as application areas like augmented reality and robotics become more significant.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Solving non-uniqueness in agglomerative hierarchical clustering using multidendrograms
건설적·협력적 멀티태스킹을 위한 의미 인식 태스크 클러스터링
Semantic-Aware Task Clustering for Constructive and Cooperative Multi-Tasking
협력적 멀티태스크 의미 통신(cooperative multi-task semantic communication, CMT-SemCom)은 공유 표현을 활용하여 태스크 실행 성능을 향상시킨다. 그러나 [1]에서 보인 바와 같이, 협력적 멀티태스킹은 태스크 간 의미적 관계에 따라 건설적일 수도 있고 파괴적일 수도 있다. 건설적 협력을 보장하기 위해, 우리는 CMT-SemCom을 위한 의미 인식 태스크 클러스터링 방법을 제안한다. 짧은 초기 학습 단계 이후 의미적으로 정렬된 태스크가 한 번 클러스터링되고, 이후 발견된 그룹 내에서만 엔드투엔드(end-to-end, E2E) 공동 학습이 수행되는 순차적 다단계 최적화 문제를 수식화했다. 구체적으로, 이 문제는 두 단계로 분해된다: (i) 계층적 밀도 기반 공간 클러스터링(hierarchical density-based spatial clustering)을 활용한 의미 클러스터링 문제, (ii) 클러스터 내 E2E CMT-SemCom 학습 문제. 시뮬레이션 결과는 제안된 프레임워크가 파괴적 협력과 부정적 전이(negative transfer)를 효과적으로 완화하며, 클러스터링되지 않은 멀티태스킹 및 개별 학습 기준선 대비 정확도 향상을 달성함을 보여준다.
로봇 렌더링을 통한 로봇 요인 분리 월드 모델
Robot-Factored World Models via Robot Rendering
행동 조건부 비디오 월드 모델은 초기 관측과 행동 신호로부터 미래 관측을 예측한다. 우리는 행동 실현과 장면 반응 예측을 분리하기 위해 두 가지 로봇 특유의 요인을 월드 모델 밖으로 옮기는 로봇 분해형 월드 모델(RoFacto)을 제안한다. 첫째는 행동 실현으로, 각 명령 시퀀스를 장면 접촉 없이 로봇 자체의 제어기와 기구학을 통해 전개하여, 미래의 실현된 상태를 요구하지 않는 배포 가능한 공칭 궤적을 얻는다. 둘째는 로봇 렌더링으로, 이 공칭 궤적을 로봇 URDF를 통해 렌더링함으로써 로봇의 형상, 기구학, 외형을 모델에서 분리하여 명시적인 렌더링된 로봇 기하로 옮긴다. 쌍을 이루는 엔드 이펙터 및 장면 깊이는 접촉과 가림에 대한 기하학적 단서를 제공하며, 카메라를 고려한 정적 RGB 문맥과 렌더링된 로봇 기하는 시점과 형태를 가로지르는 공유 시각 인터페이스를 이루고, 모델은 이를 통해 장면 반응을 학습한다. 실험 결과, 렌더링 인터페이스는 벡터 조건부 기준선을 능가하고, 보지 못한 로봇 형태로의 전이를 지원하며, 리타기팅된 인간 시연으로부터 로봇 조작 비디오를 생성한다.
금융 스트레스의 국면별 탐지를 위한 깊이 효율적 양자 위상 데이터 분석
Depth-Efficient Quantum Topological Data Analysis for Regime-Specific Detection of Financial Stress
Revisiting Multi-View Stereo: A Sequence-to-Sequence Formulation
다중 뷰 이미지로부터 정확한 기하를 계산하는 것은 컴퓨터 비전(CV)의 근본적인 문제이다. 최근 feed-forward(FF) 모델은 3D 기하와 카메라 파라미터를 공동으로 추정하지만, 정답(ground-truth) 카메라 파라미터가 주어져도 재구성 모호성으로 인한 기하 왜곡을 일반적으로 겪는다. 본 논문에서는 알려진 카메라 파라미터를 갖는 다중 뷰 스테레오(MVS) 문제를 연구하고, 기존 MVS와 FF 방법을 잇는 새로운 접근법을 제안한다. MVS를 단일 기준 뷰에 대해서만 깊이를 예측하는 시퀀스-투-원(sequence-to-one) 매핑으로 두는 대신, FF 모델과 유사하게 모든 입력 뷰에 대한 기하를 공동으로 예측하는 시퀀스-투-시퀀스 과제로 재공식화한다. 카메라로 유도된 사전지식(prior)을 명시적으로 활용하는 두 구성 요소를 갖춘 전역 트랜스포머 기반 아키텍처를 도입한다: 카메라 파라미터를 이미지 패치 토큰에 주입하여 트랜스포머를 camera-aware하게 만드는 ray-map 임베딩(embedding), 그리고 기존의 뷰별 cost volume을 대체하여 모든 뷰에 걸쳐 3D 구조를 공동으로 포착하는 통합 전역 cost volume. 여러 공개 벤치마크에 대한 광범위한 실험 결과, 제안 방법은 MVS 및 FF 재구성 기준선을 모두 능가하는 최신(state-of-the-art) 성능을 달성함을 보여준다.
깊이 조건부 적응을 통한 참조 효율적인 멀티모달 비트스트림 손상 비디오 복원
Reference-Efficient Multimodal Bitstream-Corrupted Video Recovery via Depth-Conditioned Adaptation
손상된 비디오 비트스트림에서 시각적으로 충실한 콘텐츠를 복원하는 것은 신뢰할 수 있는 멀티미디어 통신 및 저장에 매우 중요합니다. 기존 방식들은 입력 비디오 시퀀스의 국소적 잔차(local residuals)와 비국소적(non-local) RGB 참조를 활용하지만, 두 원천 모두 디코딩 후 신뢰할 수 없게 될 수 있으며, 추가적인 참조를 처리하는 것은 수신측의 연산 및 메모리 부담을 증가시킵니다. 본 논문에서는 수신된 외관 정보가 손상되었을 때 전송 전 깊이(depth) 기반 기하학적 정보가 재구성을 돕는 RGB 및 깊이 정보를 활용한 멀티모달 비트스트림 손상 비디오 복원(MBSCVR)을 연구합니다. 우리는 더 높은 성능을 달성하기 위해 복원 윈도우당 단 하나의 선택된 비국소적 RGB 참조만을 선별하여 효과적으로 활용하는 새로운 MBSCVR 프레임워크를 제안합니다. 이 프레임워크는 참조 인코딩 전에 유효한 외관 정보와 깊이 호환성을 결합하는 신뢰성 인식 멀티모달 선택기를 통합합니다. 깊이 조건부 참조 적응(DCRA)은 선택된 RGB 단서를 특징(feature) 완성 및 콘텐츠 생성에 도입하는 한편, 프레임 정렬된 깊이는 완성 쿼리를 조건화합니다. 오라클 마스크를 적용한 완전한 BSCV 벤치마크에서, MBSCVR은 단 하나의 선택된 참조만을 사용하여 YouTube-VOS에서 32.30 dB, DAVIS에서 28.93 dB를 달성함으로써 전체 참조를 사용하는 B2SCVR을 각각 0.27 dB 및 0.33 dB 앞서고 두 서브셋 모두에서 SSIM을 향상시켰습니다. 동일 조건의 수신측 순방향 측정 결과에서는 지연 시간이 36.8% 감소하고 최대 메모리가 40.8% 감소한 것으로 나타났습니다. 이러한 결과는 간결한 기하학적 유도와 적응형 외관 처리가 멀티미디어 복원의 품질과 자원 간의 절충(trade-off)을 어떻게 개선하는지 보여줍니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.