DMM-Align: 이중 역할 확산 모델을 활용한 2D-3D 정합용 폐루프 최적화
DMM-Align: Closed-Loop Optimization for 2D-3D Registration with Dual-Role Diffusion
2D-3D 정합(registration)은 낮은 중첩도, 가림(occlusion), 반복적인 구조, 심각한 크로스 모달 모호성과 같은 까다로운 시나리오에서 여전히 취약합니다. 주요 원인은 기존 방식들이 표현 학습(representation learning), 대응점 추정(correspondence estimation), 자세 계산(pose computation)을 개별적으로 개선하는 반면, 지배적인 실패 모드는 본질적으로 특징(feature), 대응점, 자세 간에 오류가 전파되는 계층 간(cross-level) 문제라는 점입니다. 이러한 한계를 해결하기 위해, 우리는 공유된 미분 가능한 기하학적 상태를 통해 대응점 정밀화, 자세 추정, 표현 학습을 결합하는 폐루프(closed-loop) 프레임워크인 DMM-Align(Diffusion-based Matching Matrix Alignment)을 제안합니다. 본 방법은 두 가지 상호 조율된 역할로 확산(diffusion) 모델을 활용합니다. 즉, 기하학 인지 확산 프로세스는 강건한 대응점 추정을 위해 소프트 매칭 행렬을 정밀화하고, 기하학 조건부 확산 티처(diffusion teacher)는 자세로부터 유도된 감독 신호를 특징 학습에 다시 주입합니다. 이러한 프로세스들은 대응점을 전역 자세로 변환하고 업스트림 모듈에 기하학적 불일치를 노출하는 미분 가능한 기하학적 힌지(geometric hinge)를 통해 연결됩니다. 7-Scenes 및 RGB-D Scenes V2에 대한 광범위한 실험을 통해 DMM-Align이 특히 낮은 중첩도와 심한 가림 조건에서 강력한 베이스라인들을 일관되게 능가함을 보여주며, 강건한 2D-3D 정합을 위한 폐루프 기하학적 피드백의 효과를 강조합니다.