Spherical-to-ERP Epipolar Rectification for Single-Axis Disparity in 360 Stereo
원문 초록
Omnidirectional stereo images provide full-surround perception but violate the geometric assumptions of classical disparity estimation: in spherical or fisheye views, epipolar correspondences follow curved great-circle paths, producing two-dimensional displacements that cannot be treated as single-axis disparity before geometric rectification. In this work, we adopt a standard spherical-to-equirectangular (ERP) projection as a preprocessing step, which straightens epipolar curves and restores a one-dimensional disparity structure - horizontal for left-right rigs and vertical for top-bottom rigs. Building on our previously introduced RAFT + Epipolar-Aligned Channel Selection (EACS) framework, originally developed for rectilinear and ERP stereo, we examine whether the same modular pipeline remains accurate when the input originates from spherical stereo imagery. After ERP projection, dense optical flow from RAFT is reduced to disparity by retaining only the baseline-aligned flow component. Experiments on synthetic fisheye stereo datasets show that this spherical-to-ERP-to-RAFT+EACS pipeline produces accurate, smooth, and structurally consistent disparity maps at real-time speed. These findings confirm that established ERP preprocessing can be effectively combined with our earlier RAFT+EACS method to enable practical, interpretable, and efficient disparity estimation from spherical stereo, providing a straightforward pathway for extending conventional stereo pipelines to 360 imaging.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.24847v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
텍스처가 부족할 때 동적 포인트 필터링이 도움이 되는가? 합성 실내 장면에서의 ORB-SLAM2 프론트엔드 통제 연구
Does Dynamic-Point Filtering Help When Texture Is Scarce? A Controlled Study of ORB-SLAM2 Front-Ends in Synthetic Indoor Scenes
특징(feature) 기반 비주얼 SLAM에는 동적 포인트 필터가 일상적으로 추가되며, 최근 몇몇 시스템에서는 동적 특징을 제거하면 저텍스처 영역에 남는 정적 특징이 너무 적어질 수 있다고 주장합니다. 지금까지 이러한 시스템들은 텍스처가 풍부한 벤치마크 시퀀스에서만 평가되었습니다. 본 연구에서는 이러한 상호작용을 분리하여 분석하는 통제 연구를 제시합니다. 표면 텍스처(FAST 코너 밀도와 이미지 그래디언트(gradient) 엔트로피로 정량화된 4단계)와 장면 동역학(3단계)을 동일한 카메라 궤적을 따라 요인별로 변화시키고, 스테레오, RGB-D, 정답(ground-truth) 포즈 및 동적 마스크를 포함하는 합성 실내 시퀀스를 렌더링합니다. 이 그리드 상에서 필터링이 없는 ORB-SLAM2, 옵티컬 플로우 및 에피폴라 잔차 기반 필터(FLOW), 다중 뷰 깊이 일관성 필터(GEOM)를 비교하고, 5회 실행에 걸친 궤적 오차, 트래킹 완료도, 잔여 정적 특징을 보고합니다. 마스크를 통해 키포인트별 정답을 얻을 수 있으므로, 메커니즘 차원의 설명을 직접 검증할 수 있도록 각 필터의 동적 포인트 정밀도(precision)와 재현율(recall), 정적 특징 오제거율도 측정합니다. 본 연구는 새로운 필터를 제안하지는 않습니다. 24개 시퀀스에 걸친 720회의 실행 결과, 필터링은 주로 동역학이 가장 큰 조건에서 도움이 되었습니다. 그 이점은 텍스처에 따라 단조 감소하지 않았으나, 가장 낮은 텍스처 수준에서 필터링은 트래킹 완료도를 저하시켰으며, 정적 L3 장면에서는 ORB-SLAM2가 전혀 초기화되지 못했습니다. 가설과 달리, GEOM은 FLOW보다 더 많은 정적 키포인트를 제거했습니다(오제거율 중앙값: RGB-D에서 6.8% 대 1.5%, 스테레오에서 19.6% 대 1.5%). GEOM의 RGB-D상 이점은 동적 포인트 재현율을 따랐으며 스테레오 모드에서는 사라졌습니다. 데이터와 코드는 https://github.com/felixxxue/texture-dynamics-slam 에서 제공됩니다.
UniDynamics: 통합 미래 4D 동적 장면 생성을 위한 이벤트-RGB 융합
UniDynamics: Event-RGB Fusion for Unified Future 4D Dynamic Scene Generation
본 논문에서는 미래 모션 필드(motion field)를 명시적으로 모델링하면서 기존 방식처럼 긴 이력이나 제어 사전 정보(prior)를 요구하지 않고, 단일 이벤트-RGB 쌍으로부터 미래 4D 동적 장면(RGB, 깊이, 광학 흐름)을 생성하는 디퓨전(diffusion) 기반 프레임워크인 UniDynamics를 제안합니다. 핵심 아이디어는 이벤트 스트림을 활용하여 단일 RGB 외삽(extrapolation)을 위한 대안적 모션 사전 정보를 제공하고, 멀티모달 모델링을 통해 생성 전반에 걸쳐 기하학적 및 모션 제약 조건을 강제하는 것입니다. 구체적으로, 이벤트 잠재 표현을 정렬하고 강화하여 디퓨전에 주입 가능한 조건화 피처로 변환하는 이벤트 잠재 강화(ELE, Event Latent Enhancement) 모듈을 설계하여 강건한 초기 모션 사전 정보와 신뢰할 수 있는 텍스처/구조 단서를 제공합니다. 나아가 멀티스케일 U-Net에 임베딩된 지각 동역학 공간(PDS, Perceptual Dynamics Space)을 도입하여 깊이와 흐름을 분리하고 적응적으로 상호작용하도록 하는 동시에 외형 피처에 제약 조건을 지속적으로 피드백함으로써 기하학적-모션 일관성을 향상시켜 물리적으로 타당하고 시공간적으로 일관된 예측을 가능하게 합니다. VKitti2 및 DSEC 데이터셋에 대한 실험은 최첨단(state-of-the-art) 성능을 입증하며, 특히 까다로운 고속 모션 블러 환경에서도 고품질의 시간적으로 일관되고 4D 일관성을 갖춘 미래 예측을 생성함을 보여줍니다.
Know-Your-Scene (KYS)-SLAM: 스테레오 시각적 SLAM의 특징 매칭을 위한 계층적 의미-움직임 사전 확률
Know-Your-Scene (KYS)-SLAM: Hierarchical Semantic-Motion Priors for Feature Matching in Stereo Visual SLAM
지역 기술자(local descriptor) 기반의 스테레오 시각적 SLAM(stereo visual SLAM) 시스템은 의미적 모호성, 인스턴스 수준의 혼동, 독립적으로 움직이는 객체로 인해 데이터 연관이 손상되고 궤적 드리프트(trajectory drift)가 누적되는 문제를 겪습니다. 기존의 의미론적 및 동적 SLAM 방식은 이진 특징 기각(binary feature rejection)을 통해 이를 해결하려 하므로, 이상치 억제를 위해 대응점 밀도를 희생시킵니다. 본 논문에서는 문맥적 개연성 부족을 배제 기준보다는 점진적인 양으로 표현하는 것이 더 낫다고 주장합니다. 이에 따라 특징 기각을 연속적인 대응점 조절로 대체하는 ORB-SLAM3의 모듈형 확장인 Know-Your-Scene (KYS)-SLAM을 제안합니다. 본 연구의 기여는 기하학적 백엔드를 수정하지 않은 채 특징 매칭 내에 적용되는 대응점 비용으로서 문맥적 증거를 재구성한 점입니다. 각 키포인트는 계층적 호환성 수식을 통해 융합된 의미론적, 팬옵틱(panoptic), 움직임 사전 확률로 보강되며, 여기서 의미론적 클래스와 인스턴스 식별자는 구조적 개연성을 강제하고 제로샷(zero-shot) 움직임 점수는 독립적으로 움직이는 객체의 특징 가중치를 낮춥니다. 해당 점수는 배경 옵티컬 플로우(optical flow)에 깊이 인식 자기-움직임(ego-motion) 모델을 피팅하고 자체 보정 및 커버리지 인식 임계값을 통해 팬옵틱 세그먼트를 분류하는 학습(training) 불필요 모듈에서 도출되므로, 충분한 움직임 증거가 있는 세그먼트에만 페널티가 부여되고 정적 구조에는 페널티가 부여되지 않습니다. 대응점을 폐기하기보다 페널티를 부여함으로써 번들 조정(bundle adjustment)이 의존하는 기하학적 지지를 보존합니다. 시퀀스나 데이터셋별로 계수를 재조정하지 않은 단일 고정 구성 하에서, KYS-SLAM은 성능 저하 없이 21개 스테레오 시퀀스 전반에 걸쳐 시퀀스당 ATE RMSE를 실외 KITTI에서 17.4%, 실내 EuRoC에서 27.7% 감소시켰으며, KITTI Tracking의 동적 하위 집합에서 6.6%, Virtual KITTI 2에서 17.8%(최대 31.2%) 감소시켜 단일 상수 세트로 실외 주행, 실내 비행 및 합성 영상 전반에 걸친 크로스 도메인 전이를 달성했습니다.
레이더-이미지 융합을 이용한 이미지 프레임 동적 객체 분할 및 자기 운동 추정
Image Frame Dynamic Object Segmentation and Ego Motion Estimation using Radar Image Fusion
동적 객체 분할(dynamic object segmentation)과 자기 운동 추정(ego-motion estimation)은 자율주행에서 긴밀하게 결합된 문제이다. 정확한 자기 운동 추정에는 일반적으로 정적 장면 관측이 필요한 반면, 정적 관측을 식별하기 위해서는 자기 운동에 대한 정보가 필요하기 때문이다. 우리는 이러한 결합 문제를 해결하기 위해 레이더 도플러(Doppler) 측정값을 활용하는 레이더-RGB 프레임워크인 Radar-Dot을 제시한다. 먼저 레이더 반사 신호를 선형 도플러 제약(linear Doppler constraint)을 통해 자기 속도(ego velocity) 추정에 사용하며, 잔차 기반 정적/동적 분할(residual-based static/dynamic segmentation)과 로버스트 추정(robust estimation)을 사용하여 이동 객체의 영향을 줄인다. 추정된 운동 정보는 이후 메트릭 깊이(metric depth) 및 밀집 광학 흐름(dense optical flow)과 결합되어, 관측된 움직임이 경직 장면 운동(rigid scene motion)과 일치하지 않는 이미지 영역을 식별하는 데 사용된다. nuScenes 장면 10개(nuscenes-mini의 일부)에 대한 실험 결과, 제안된 기하학적 파이프라인은 394개의 프레임 쌍에 대해 20.24%의 동적 IoU와 33.67%의 F1-score를 달성하였으며, 레이더 기반 정적 포인트 필터링(static-point filtering)은 모든 레이더 반사 신호를 사용하는 경우에 비해 자기 속도 추정을 향상시켰다. 이러한 결과는 레이더가 자기 운동 추정과 동적 객체 분할을 동시에 개선할 수 있는 모달리티(modality)로서의 잠재력을 보여준다.
광학 흐름 모델의 실제 세계 일반화 가능성에 관하여
On the Real-World Generalisability of Optical Flow Models
비전 모델을 실제 세계에 배포하여 사회에 광범위하게 기여하는 것은 주요 연구 목표 중 하나라 할 수 있다. 그러나 광학 흐름(optical flow) 분야에서는 정답(ground truth) 획득의 어려움으로 인해 연구가 주로 합성 데이터와 도메인 특화 벤치마크에 집중되어 왔다. 본 연구에서는 이러한 불일치의 심각성을 조사한다. 우리는 현대 광학 흐름 추정 모델이 실제 세계 비디오에 얼마나 잘 일반화되는지 연구하고, 합성 벤치마크 프록시에서의 정확도가 실제 세계 광학 흐름의 정확도를 실제로 예측하는지 의문을 제기한다. 이를 위해 실제 세계 평가 벤치마크를 구축하고, 표준 체크포인트를 사용하여 최근 광학 흐름 모델 전반의 실제 세계 일반화 가능성을 평가한다. 우리의 벤치마크는 TAP-Flow, Slow Flow, 그리고 자체 데이터셋 FlowFactor에 걸쳐 8,204개의 프레임 쌍을 포함한다. FlowFactor는 1,000개의 HD 프레임 쌍으로 구성된 수동 주석 기반 실제 세계 벤치마크로, 대변위(large displacements), 반복 텍스처(repetitive textures), 가려짐(occlusions), 조명 변화(lighting variation)의 네 가지 교란 요인으로 조직되어 있다. 각 설정은 주로 하나의 요인만 변화시켜 진단적이고 교란 요인별 분석을 가능하게 한다. FlowFactor를 활용하여, 조명 변화 및 대변위 환경에서의 성능이 실제 세계 정확도와 가장 강하게 상관관계를 가지며, 대동작 영역에서의 성능 향상이 소동작의 정적 장면에서의 견고성과 트레이드오프 관계일 수 있음을 밝힌다. 실험 결과, Sintel, KITTI, Spring에서의 발전이 실제 세계 데이터 정확도를 약하게만 예측함을 보여주며, 이는 광범위한 실제 세계 광학 흐름 벤치마크의 필요성을 강조한다. 흥미롭게도, 학습 데이터의 양을 확장하는 것이 반드시 이 격차를 해소하지는 않으며, 단순히 데이터와 컴퓨팅을 확장하는 대신 새로운 혁신적 연구가 요구됨을 시사한다.
일반화된 스테레오 매칭을 위한 단안 깊이 임베딩 재고찰
Rethinking Monocular Depth Embedding for Generalized Stereo Matching
일반적으로 단안(monocular) 방법은 풍부한 맥락적 사전 정보를 포착하지만 기하학적 정밀도(precision)가 부족한 반면, 스테레오 방법은 기하학적으로 정확하지만 텍스처가 없거나 가려진 영역에서 어려움을 겪는다. 여러 접근 방식이 단안 깊이를 스테레오 정보와 정렬함으로써 스테레오 매칭(SM)의 일반화를 향상시키기 위해 양쪽의 강점을 결합하려 시도한다. 그러나 안정적이고 일반화 가능한 정렬을 구축하는 것은 어렵고, 신뢰할 수 없는 단안 단서는 성능을 크게 저하시킬 수 있다. 본 논문은 단안 깊이 임베딩(embedding)을 재고찰한다. 첫째, 단축 학습(shortcut learning)을 방지하기 위해 네트워크 너비를 확장하는 대신 브랜치 결합을 줄인다. 둘째, 단안 깊이 오류에 대한 허용 오차를 높이기 위해 단안 깊이로부터 강한 제약 대신 소프트 제약을 구성한다. 이러한 원칙에 기반하여, 특징(feature) 추출과 GRU 반복 모두에 단안 정보를 통합한다. 구체적으로, 단안 깊이 맵을 RGB 이미지와 융합하여 깊이 경계 인식을 선명하게 하고 매칭 모호성을 억제한다. 융합된 이미지는 이후 특징 추출에 사용되어, 맥락적 특징이 전역 기하학적 정보를 인코딩할 수 있게 한다. 나아가, 단안 깊이 그래디언트(gradient) 특징을 활용하여 시차 업데이트를 안내함으로써 국소 진동에서 벗어나도록 돕는다. 마지막으로, 데이터 증강(data augmentation)으로 인한 지도 시차의 경계 흐림 문제를 해결하기 위해 엣지 신뢰도 추정 방법과 엣지 인식 손실(loss) 함수를 제안한다. 우리의 방법은 다수의 표준 벤치마크에서 최첨단(SOTA) 성능을 달성하며, 정확도를 향상시키는 동시에 우수한 일반화 능력을 보여준다. 코드는 https://github.com/linliboabc-maker/stereo-matching-digital 에서 확인할 수 있다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.