arXiv:2105.13879

An Unsupervised Optical Flow Estimation For LiDAR Image Sequences

Xuezhou Guo, Xuhu Lin, Lili Zhao, Zezhi Zhu, Jianwen Chen

제출 2021-05-28

원문 초록

In recent years, the LiDAR images, as a 2D compact representation of 3D LiDAR point clouds, are widely applied in various tasks, e.g., 3D semantic segmentation, LiDAR point cloud compression (PCC). Among these works, the optical flow estimation for LiDAR image sequences has become a key issue, especially for the motion estimation of the inter prediction in PCC. However, the existing optical flow estimation models are likely to be unreliable for LiDAR images. In this work, we first propose a light-weight flow estimation model for LiDAR image sequences. The key novelty of our method lies in two aspects. One is that for the different characteristics (with the spatial-variation feature distribution) of the LiDAR images w.r.t. the normal color images, we introduce the attention mechanism into our model to improve the quality of the estimated flow. The other one is that to tackle the lack of large-scale LiDAR-image annotations, we present an unsupervised method, which directly minimizes the inconsistency between the reference image and the reconstructed image based on the estimated optical flow. Extensive experimental results have shown that our proposed model outperforms other mainstream models on the KITTI dataset, with much fewer parameters.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.27509v1cs.CV공통 태그 Semantic Segmentation, Optical Flow Estimation

Know-Your-Scene (KYS)-SLAM: 스테레오 시각적 SLAM의 특징 매칭을 위한 계층적 의미-움직임 사전 확률

Know-Your-Scene (KYS)-SLAM: Hierarchical Semantic-Motion Priors for Feature Matching in Stereo Visual SLAM

지역 기술자(local descriptor) 기반의 스테레오 시각적 SLAM(stereo visual SLAM) 시스템은 의미적 모호성, 인스턴스 수준의 혼동, 독립적으로 움직이는 객체로 인해 데이터 연관이 손상되고 궤적 드리프트(trajectory drift)가 누적되는 문제를 겪습니다. 기존의 의미론적 및 동적 SLAM 방식은 이진 특징 기각(binary feature rejection)을 통해 이를 해결하려 하므로, 이상치 억제를 위해 대응점 밀도를 희생시킵니다. 본 논문에서는 문맥적 개연성 부족을 배제 기준보다는 점진적인 양으로 표현하는 것이 더 낫다고 주장합니다. 이에 따라 특징 기각을 연속적인 대응점 조절로 대체하는 ORB-SLAM3의 모듈형 확장인 Know-Your-Scene (KYS)-SLAM을 제안합니다. 본 연구의 기여는 기하학적 백엔드를 수정하지 않은 채 특징 매칭 내에 적용되는 대응점 비용으로서 문맥적 증거를 재구성한 점입니다. 각 키포인트는 계층적 호환성 수식을 통해 융합된 의미론적, 팬옵틱(panoptic), 움직임 사전 확률로 보강되며, 여기서 의미론적 클래스와 인스턴스 식별자는 구조적 개연성을 강제하고 제로샷(zero-shot) 움직임 점수는 독립적으로 움직이는 객체의 특징 가중치를 낮춥니다. 해당 점수는 배경 옵티컬 플로우(optical flow)에 깊이 인식 자기-움직임(ego-motion) 모델을 피팅하고 자체 보정 및 커버리지 인식 임계값을 통해 팬옵틱 세그먼트를 분류하는 학습(training) 불필요 모듈에서 도출되므로, 충분한 움직임 증거가 있는 세그먼트에만 페널티가 부여되고 정적 구조에는 페널티가 부여되지 않습니다. 대응점을 폐기하기보다 페널티를 부여함으로써 번들 조정(bundle adjustment)이 의존하는 기하학적 지지를 보존합니다. 시퀀스나 데이터셋별로 계수를 재조정하지 않은 단일 고정 구성 하에서, KYS-SLAM은 성능 저하 없이 21개 스테레오 시퀀스 전반에 걸쳐 시퀀스당 ATE RMSE를 실외 KITTI에서 17.4%, 실내 EuRoC에서 27.7% 감소시켰으며, KITTI Tracking의 동적 하위 집합에서 6.6%, Virtual KITTI 2에서 17.8%(최대 31.2%) 감소시켜 단일 상수 세트로 실외 주행, 실내 비행 및 합성 영상 전반에 걸친 크로스 도메인 전이를 달성했습니다.

arXiv:2607.20535v1cs.LG공통 태그 Semantic Segmentation, Optical Flow Estimation

제로샷 디지털 트윈을 위한 그래프 신경망 접근법

A Graph Neural Network approach to zero-shot Digital Twins

전통적인 예측형 디지털 트윈은 종종 기하학적으로 경직되어, 기반 물리 영역이나 경계 조건이 바뀔 때마다 광범위한 재학습 또는 미세조정을 필요로 한다. 이 한계를 극복하기 위해, 우리는 실시간 시각 인식과 기하학에 무관한 물리 정보 기반 추론 엔진을 원활하게 결합하는 제로샷 디지털 트윈(Zero-Shot Digital Twins)을 위한 새로운 프레임워크를 제시한다. 우리 아키텍처의 핵심은 Thermodynamics-Informed Graph Neural Network 아키텍처로, 메트리플렉틱(metriplectic) 열역학 형식론에 기반한 기하 심층 학습(Geometric Deep Learning) 솔버이며, 그래프 메시지 전달을 통해 국소적으로 에너지 보존과 비음 엔트로피 생성을 강제한다. 이 프레임워크는 보조 그래프 신경망을 통합하여 희소한 초기 시각 경계로부터 직접 관측 불가능한 필드(응력 텐서, 속도 및 에너지 분포 등)를 추론함으로써 수치적 시작 과도 현상을 완화한다. 시뮬-실제(sim-to-real) 격차를 메우기 위해, 우리는 연속적인 폐루프 데이터 동화 메커니즘을 구현한다. 파이프라인은 심층 분할 신경망과 희소 광학 흐름을 결합하여 거시적 변형과 자유 표면 유체 경계를 실시간으로 추적하고, 자기회귀 시뮬레이션 롤아웃을 동적으로 보정하여 수치적 드리프트를 제거한다. 우리 접근법의 타당성을 검증하기 위해, 우리는 두 가지 이질적인 물리 체제에서 접근법의 극단적인 일반화 능력을 입증한다: 점탄성 보의 대변형과 점성 유체의 비선형 슬로싱(sloshing). 두 시나리오 모두에서, 통합 프레임워크는 사례별 재학습 없이 새로운, 보지 못한 기하학에서 물리적으로 정확한 시뮬레이션을 생성하며, 실시간 지연(latency) 예산(프레임당 약 25ms) 내에서 동작하고 증강 현실(AR)을 통해 잠재 기계 변수의 직접 투영을 가능하게 한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.