From a Point Cloud to a Simulation Model: Bayesian Segmentation and Entropy based Uncertainty Estimation for 3D Modelling
원문 초록
The 3D modelling of indoor environments and the generation of process simulations play an important role in factory and assembly planning. In brownfield planning cases existing data are often outdated and incomplete especially for older plants, which were mostly planned in 2D. Thus, current environment models cannot be generated directly on the basis of existing data and a holistic approach on how to build such a factory model in a highly automated fashion is mostly non-existent. Major steps in generating an environment model in a production plant include data collection and pre-processing, object identification as well as pose estimation. In this work, we elaborate a methodical workflow, which starts with the digitalization of large-scale indoor environments and ends with the generation of a static environment or simulation model. The object identification step is realized using a Bayesian neural network capable of point cloud segmentation. We elaborate how the information on network uncertainty generated by a Bayesian segmentation framework can be used in order to build up a more accurate environment model. The steps of data collection and point cloud segmentation as well as the resulting model accuracy are evaluated on a real-world data set collected at the assembly line of a large-scale automotive production plant. The segmentation network is further evaluated on the publicly available Stanford Large-Scale 3D Indoor Spaces data set. The Bayesian segmentation network clearly surpasses the performance of the frequentist baseline and allows us to increase the accuracy of the model placement in a simulation scene considerably.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
학습된 관절 운동 제약을 이용한 단안 영상 기반 수술 운동학
Surgical Kinematics from Monocular Video with Learned Articulated Motion Constraints
로봇 수술의 객관적 평가는 기구 운동학을 사용하며, 영상만 이용 가능한 경우 이를 재구성해야 한다. 우리는 단안 영상으로부터 기구의 위치, 방향 및 jaw 각도를 추정하는 운동학 재구성 네트워크를 제안한다. 시각 표현은 고정(frozen) DINOv3 특징에 대한 전역 어텐션 풀링과 파인튜닝된 SAM 3.1 마스크로 얻은 기구 랜드마크에서의 국소 풀링을 결합한다. 공유 트랜스포머 인코더와 시간적 합성곱 헤드는 이 표현을 마스크 기하, 단안 깊이, 및 팔(arm)별 다층 회귀 네트워크의 시각 상태 추정치와 통합한다. 위치 분기는 이동 거리를 보존하기 위해 변위 크기와 방향을 각각 예측한다. 예측된 상태 관측 및 운동 증분에 대해 미분 가능 가중 최소자승법으로 궤적을 맞추며, 누적 예측 회전에 상대적인 쿼터니언 관측을 표현하여 이차 방향 목적함수를 얻는다. 2,802개의 Open-H 에피소드에서 재구성을 평가한다. 주 Open-H 벤치마크에서 LiveMAE와 비교할 때, 본 방법은 경로 길이 평균 절대 오차를 0.45cm에서 0.34cm로 줄이고, 동작 분할을 위한 시간적 평균 평균 정밀도를 44.54%에서 54.44%로 높인다.
TransBiolab: 혼잡한 투명 생의학 객체의 실세계 다중 시점 데이터셋
TransBiolab: A Real-World Multi-View Dataset of Cluttered Transparent Biomedical Objects
자율 생의학 실험실은 투명 플라스틱 기구를 인식하고, 위치를 특정하며, 조작하는 데 점점 더 시각적 지각에 의존하고 있지만, 이 환경을 위한 고품질 실세계 데이터셋은 여전히 제한적이다. 도메인 관련 데이터의 부족은 특히 혼잡한 다중 객체 장면에서 제약적이며, 여기서 상호 가림과 시점 의존적 외관 변화는 최신 시각 기반 모델(foundation model)에서도 여전히 어려운 과제로 남아 있다. 기존 투명 객체 데이터셋은 분할(segmentation), 깊이, 자세 추정을 발전시켜 왔지만, 일반적으로 실험실 조작 장면을 특징짓는 다중 객체 혼잡, 가림, 보정된 다중 시점 캡처의 결합된 설정을 평가하지는 않는다. 이 공백을 해소하기 위해, 우리는 보정된 다중 시점 시퀀스로 캡처된 혼잡한 투명 생의학 객체의 실세계 RGB-D 데이터셋인 TransBiolab을 제시한다. TransBiolab은 98개 장면에서 161,315프레임과 15가지 실험실 객체 유형에 걸친 103만 개의 인스턴스 주석을 포함하며, 6D 자세, 전체 및 가시 마스크, 깊이, 프레임별 카메라 보정을 제공한다. 데이터셋은 운영 난이도를 반영하는 세 가지 축을 따라 구성된다: 객체 범주, 프레임 내 객체 총수, 카메라 시점. 우리는 또한 분할, 깊이 추정 및 완성(completion), 6D 자세 추정을 위한 데이터셋 중심 벤치마크를 정의하고, 공개된 주석과 보정을 통해 가능해진 시스템 수준의 로봇 조작 평가를 보고한다. 반복되는 투명 인스턴스, 혼잡, 다중 시점 실험실 캡처에 초점을 맞춤으로써, TransBiolab은 자율 실험실 조작에서 분할, 깊이 추정, 6D 자세 추정, 다중 시점 추론을 위한 자원을 제공한다. 프로젝트 페이지: https://dualtransparency.github.io/TransBiolab/.
Semantic Context Encoding for Accurate 3D Point Cloud Segmentation
Indoor Point Cloud Segmentation Using Iterative Gaussian Mapping and Improved Model Fitting
PoSeg: Pose-Aware Refinement Network for Human Instance Segmentation
LeGO-LOAM: Lightweight and Ground-Optimized Lidar Odometry and Mapping on Variable Terrain
토론
이 논문과 연결된 포럼 글이 아직 없습니다.