arXiv:1606.05002

3DFS: Deformable Dense Depth Fusion and Segmentation for Object Reconstruction from a Handheld Camera

Tanmay Gupta, Daeyun Shin, Naren Sivagnanadasan, Derek Hoiem

제출 2016-06-15

원문 초록

We propose an approach for 3D reconstruction and segmentation of a single object placed on a flat surface from an input video. Our approach is to perform dense depth map estimation for multiple views using a proposed objective function that preserves detail. The resulting depth maps are then fused using a proposed implicit surface function that is robust to estimation error, producing a smooth surface reconstruction of the entire scene. Finally, the object is segmented from the remaining scene using a proposed 2D-3D segmentation that incorporates image and depth cues with priors and regularization over the 3D volume and 2D segmentations. We evaluate 3D reconstructions qualitatively on our Object-Videos dataset, comparing to fusion, multiview stereo, and segmentation baselines. We also quantitatively evaluate the dense depth estimation using the RGBD Scenes V2 dataset [Henry et al. 2013] and the segmentation using keyframe annotations of the Object-Videos dataset.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.24850v2cs.CV공통 태그 3D Reconstruction, Depth Estimation

Revisiting Multi-View Stereo: A Sequence-to-Sequence Formulation

다중 뷰 이미지로부터 정확한 기하를 계산하는 것은 컴퓨터 비전(CV)의 근본적인 문제이다. 최근 feed-forward(FF) 모델은 3D 기하와 카메라 파라미터를 공동으로 추정하지만, 정답(ground-truth) 카메라 파라미터가 주어져도 재구성 모호성으로 인한 기하 왜곡을 일반적으로 겪는다. 본 논문에서는 알려진 카메라 파라미터를 갖는 다중 뷰 스테레오(MVS) 문제를 연구하고, 기존 MVS와 FF 방법을 잇는 새로운 접근법을 제안한다. MVS를 단일 기준 뷰에 대해서만 깊이를 예측하는 시퀀스-투-원(sequence-to-one) 매핑으로 두는 대신, FF 모델과 유사하게 모든 입력 뷰에 대한 기하를 공동으로 예측하는 시퀀스-투-시퀀스 과제로 재공식화한다. 카메라로 유도된 사전지식(prior)을 명시적으로 활용하는 두 구성 요소를 갖춘 전역 트랜스포머 기반 아키텍처를 도입한다: 카메라 파라미터를 이미지 패치 토큰에 주입하여 트랜스포머를 camera-aware하게 만드는 ray-map 임베딩(embedding), 그리고 기존의 뷰별 cost volume을 대체하여 모든 뷰에 걸쳐 3D 구조를 공동으로 포착하는 통합 전역 cost volume. 여러 공개 벤치마크에 대한 광범위한 실험 결과, 제안 방법은 MVS 및 FF 재구성 기준선을 모두 능가하는 최신(state-of-the-art) 성능을 달성함을 보여준다.

arXiv:2610.13925v1cs.CV공통 태그 Segmentation, 3D Reconstruction

기계는 비언어적으로 추론할 수 있는가?

Can machines reason non-verbally?

현대 기계는 방정식을 풀고 논리를 따르며 언어를 통해 추론할 수 있지만, 시각적 비언어적 추론이 필요한 문제에서는 여전히 어려움을 겪고 있습니다. 이는 추상적 패턴 완성이나 모호한 관심 영역(ROI) 묘사와 같은 시각적 과제에서 여전히 한계를 보이는 DeepSeek, ChatGPT, Gemini와 같은 첨단 시스템에서도 뚜렷하게 나타납니다. 논리나 자동화된 테스트를 통해 검증할 수 있는 언어적 추론의 명시적인 중간 단계와 달리, 시각적 추론은 명확한 검증 방법이 없는 암묵적인 중간 단계를 수반합니다. 따라서 비언어적 추론은 모델링하기가 까다로우며, 그 결과 현재 기계 지능의 근본적인 한계로 남아 있습니다. 본 연구에서는 생성, 검증, 최적화를 기계의 추론 파이프라인으로 통합하는 범용 프레임워크인 GenVerOpt를 소개합니다. GenVerOpt는 후보 해를 생성하고 그 정확성을 검증하며 반복적으로 개선함으로써, 모델 학습(training) 중에 포착된 데이터셋(dataset) 수준의 경향성에만 의존하기보다 샘플별 최적화를 가능하게 합니다. 이 과정은 올바른 해결책이 도출될 때까지 여러 가능성을 구상하고 평가하며 다듬는 인간의 문제 해결 방식을 반영합니다. 다양한 도메인에 걸쳐 GenVerOpt는 기존 시스템을 뛰어넘는 역량을 입증합니다. 즉, 추상적 IQ 퍼즐에서 인간을 능가하고, 전립선암 분할에서 임상의 수준에 도달하며, 간 혈관 재구성에서 전문가를 뛰어넘고, 종양 경계 정렬에서 최신(SOTA) 접근법보다 우수한 성능을 보입니다. 이러한 결과는 기계의 추론이 언어를 넘어 확장될 수 있음을 보여주며, 시각적 비언어적 추론을 보다 유연하고 일반화 가능한 지능의 토대로 확립합니다.

arXiv:2610.10564v1cs.RO공통 태그 3D Reconstruction, Depth Estimation

텍스처가 부족할 때 동적 포인트 필터링이 도움이 되는가? 합성 실내 장면에서의 ORB-SLAM2 프론트엔드 통제 연구

Does Dynamic-Point Filtering Help When Texture Is Scarce? A Controlled Study of ORB-SLAM2 Front-Ends in Synthetic Indoor Scenes

특징(feature) 기반 비주얼 SLAM에는 동적 포인트 필터가 일상적으로 추가되며, 최근 몇몇 시스템에서는 동적 특징을 제거하면 저텍스처 영역에 남는 정적 특징이 너무 적어질 수 있다고 주장합니다. 지금까지 이러한 시스템들은 텍스처가 풍부한 벤치마크 시퀀스에서만 평가되었습니다. 본 연구에서는 이러한 상호작용을 분리하여 분석하는 통제 연구를 제시합니다. 표면 텍스처(FAST 코너 밀도와 이미지 그래디언트(gradient) 엔트로피로 정량화된 4단계)와 장면 동역학(3단계)을 동일한 카메라 궤적을 따라 요인별로 변화시키고, 스테레오, RGB-D, 정답(ground-truth) 포즈 및 동적 마스크를 포함하는 합성 실내 시퀀스를 렌더링합니다. 이 그리드 상에서 필터링이 없는 ORB-SLAM2, 옵티컬 플로우 및 에피폴라 잔차 기반 필터(FLOW), 다중 뷰 깊이 일관성 필터(GEOM)를 비교하고, 5회 실행에 걸친 궤적 오차, 트래킹 완료도, 잔여 정적 특징을 보고합니다. 마스크를 통해 키포인트별 정답을 얻을 수 있으므로, 메커니즘 차원의 설명을 직접 검증할 수 있도록 각 필터의 동적 포인트 정밀도(precision)와 재현율(recall), 정적 특징 오제거율도 측정합니다. 본 연구는 새로운 필터를 제안하지는 않습니다. 24개 시퀀스에 걸친 720회의 실행 결과, 필터링은 주로 동역학이 가장 큰 조건에서 도움이 되었습니다. 그 이점은 텍스처에 따라 단조 감소하지 않았으나, 가장 낮은 텍스처 수준에서 필터링은 트래킹 완료도를 저하시켰으며, 정적 L3 장면에서는 ORB-SLAM2가 전혀 초기화되지 못했습니다. 가설과 달리, GEOM은 FLOW보다 더 많은 정적 키포인트를 제거했습니다(오제거율 중앙값: RGB-D에서 6.8% 대 1.5%, 스테레오에서 19.6% 대 1.5%). GEOM의 RGB-D상 이점은 동적 포인트 재현율을 따랐으며 스테레오 모드에서는 사라졌습니다. 데이터와 코드는 https://github.com/felixxxue/texture-dynamics-slam 에서 제공됩니다.

arXiv:2610.02343v1cs.CV공통 태그 3D Reconstruction, Depth Estimation

SCOPE-4D: 내시경 4D 기하학 파운데이션 모델

SCOPE-4D: Endoscopic 4D Geometry Foundation Models

기하학적 이해는 내시경 내비게이션과 로봇 보조를 뒷받침하지만, 신뢰할 수 있는 내시경 기하학을 학습하는 것은 기하학적 주석의 부족과 카메라 움직임과 조직 변형 간의 모호성이라는 두 가지 과제에 직면해 있습니다. 본 논문에서는 단안 RGB 비디오로부터 단일 순전파(forward pass)만으로 카메라 파라미터, 조밀한 기하학, 3D 조직 궤적을 공동으로 예측하는 내시경 4D 기하학 파운데이션 모델인 SCOPE-4D를 제시합니다. 본 연구의 큐레이션 및 주석 파이프라인은 실제 및 합성 위장 내시경과 복강경을 아우르는 약 5,000개 클립 모음인 SCOPE-5K를 구축합니다. 이 컬렉션은 풍부한 기하학적 감독을 제공하며, 새롭게 수집된 팬텀 및 실제 대장 내시경 평가 세트를 포함합니다. SCOPE-5K에 대한 기하학 지도 미세조정(supervised fine-tuning)은 내시경 사전 지식(prior)을 학습하여 카메라 및 깊이 추정을 향상시킵니다. 공통-잔차 모션(Common--Residual Motion, CRM)은 공통 조직 움직임에 상대적인 국소 변형을 추가로 제약합니다. 기하학적 감독과 더불어, CRM 및 궤적 감독은 기하학 미세조정(fine-tuning) 단독 대비 카메라 및 깊이 추정을 더욱 향상시키는 동시에 조밀한 3D 조직 추적을 가능하게 합니다. 공개 벤치마크 및 새로 수집된 벤치마크에 대한 평가는 도메인 내 및 도메인 외 기하학에서의 강력한 성능, 우수한 3D 추적, 그리고 보다 안정적인 긴 시퀀스 대장 재구성을 입증합니다. 맹검 사용자 연구는 실제 임상 비디오에서 체감 재구성 품질을 추가로 뒷받침합니다. 이러한 결과는 공동 기하학 추정 및 조직 추적을 위한 대규모 내시경 감독과 모션 제약의 가치를 종합적으로 입증합니다.

arXiv:2610.03473v1cs.CV공통 태그 3D Reconstruction, Depth Estimation

UniDynamics: 통합 미래 4D 동적 장면 생성을 위한 이벤트-RGB 융합

UniDynamics: Event-RGB Fusion for Unified Future 4D Dynamic Scene Generation

본 논문에서는 미래 모션 필드(motion field)를 명시적으로 모델링하면서 기존 방식처럼 긴 이력이나 제어 사전 정보(prior)를 요구하지 않고, 단일 이벤트-RGB 쌍으로부터 미래 4D 동적 장면(RGB, 깊이, 광학 흐름)을 생성하는 디퓨전(diffusion) 기반 프레임워크인 UniDynamics를 제안합니다. 핵심 아이디어는 이벤트 스트림을 활용하여 단일 RGB 외삽(extrapolation)을 위한 대안적 모션 사전 정보를 제공하고, 멀티모달 모델링을 통해 생성 전반에 걸쳐 기하학적 및 모션 제약 조건을 강제하는 것입니다. 구체적으로, 이벤트 잠재 표현을 정렬하고 강화하여 디퓨전에 주입 가능한 조건화 피처로 변환하는 이벤트 잠재 강화(ELE, Event Latent Enhancement) 모듈을 설계하여 강건한 초기 모션 사전 정보와 신뢰할 수 있는 텍스처/구조 단서를 제공합니다. 나아가 멀티스케일 U-Net에 임베딩된 지각 동역학 공간(PDS, Perceptual Dynamics Space)을 도입하여 깊이와 흐름을 분리하고 적응적으로 상호작용하도록 하는 동시에 외형 피처에 제약 조건을 지속적으로 피드백함으로써 기하학적-모션 일관성을 향상시켜 물리적으로 타당하고 시공간적으로 일관된 예측을 가능하게 합니다. VKitti2 및 DSEC 데이터셋에 대한 실험은 최첨단(state-of-the-art) 성능을 입증하며, 특히 까다로운 고속 모션 블러 환경에서도 고품질의 시간적으로 일관되고 4D 일관성을 갖춘 미래 예측을 생성함을 보여줍니다.

arXiv:2610.01206v1cs.CV공통 태그 3D Reconstruction, Depth Estimation

전경 뷰 및 가려진 장면 복원을 위한 혼합 단일 광자 라이다 반환 신호 분해

Resolving Mixed Single-Photon LiDAR Returns for Foreground-View and Hidden Scene Reconstruction

부분 투과성 스크린과 보호 덮개는 로봇 검사에서 흔히 사용되지만, 전경 물질과 그 뒤의 장면 모두로부터 혼합된 라이다(LiDAR) 반환 신호를 생성합니다. 기존의 피크 기반 라이다는 대체로 약한 숨겨진 반환 신호를 폐기하는 반면, 단일 광자 라이다(single-photon LiDAR)는 감쇄되거나 중첩된 에코를 보존하는 시간 분해 히스토그램을 기록합니다. 그러나 기존의 트랜지언트(transient) 복원 방법들은 일반적으로 측정된 파형(waveform)에 단일 장면 표현을 피팅합니다. 가림(occlusion) 환경에서는 약하거나 인접한 전경-숨겨진 에코가 넓은 피크나 미세한 숄더(shoulder)를 형성할 수 있습니다. 이러한 파형은 위치가 이동된 단일 표면이나 두꺼운 밀도 분포로도 설명될 수 있으므로, 정확한 트랜지언트 피팅이 반드시 올바른 기하학적 구조를 의미하지는 않습니다. 본 논문에서는 가려진 단일 광자 히스토그램으로부터 전경 뷰와 가려진 장면을 복원하기 위한 상태 인식(state-aware) 프레임워크를 제안합니다. 각 광선(ray)에 대해 신뢰할 수 있는 표면 근거가 없는 경우, 단일 반환 근거가 있는 경우, 또는 두 개의 반환 근거가 있는 경우를 식별하여 국소 에코 근거를 추정합니다. 추정된 에코 상태는 2-헤드 신경 필드(two-head neural field)의 지도 학습 경로를 지정합니다. 즉, 모든 광선은 파형 재구성을 제약하는 반면, 신뢰할 수 있는 앵커는 기하학적 위치 추정을 제공합니다. 또한 고정된 포즈에서 가려진 캡처와 깨끗한 캡처를 포함하는 실제 쌍을 이룬 단일 광자 라이다 가림 데이터셋(dataset)을 제시합니다. 실제 데이터셋에 대한 실험 결과, 베이스라인 대비 향상된 가려진 장면 깊이 및 포인트 클라우드 정확도를 보여줍니다. 본 연구 결과는 단일 광자 계층형 복원이 부분 투과성 가림체를 통한 3D 인식의 실용적인 경로임을 입증합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.