최근의 피드포워드 3D 재구성 기법들은 포인트 맵(point map)을 예측하여 전역적 3D 기하학을 매우 잘 추정합니다. 그러나 이러한 예측들은 여전히 부정확한 국소 표면 기하학을 나타내며, 이는 정성적으로는 명확히 드러나지만 일반적인 평가 지표에서는 미미하게만 반영됩니다. 평가 시 이러한 오차를 더욱 명확히 드러내기 위해, 우리는 인접한 3D 예측에 의해 유도되는 국소 표면 방향을 평가하는 포인트 맵 법선(normal) 평가 지표를 도입합니다. 이러한 오차를 줄이기 위해 상호보완적인 두 가지 구성 요소를 제안합니다. 즉, 깊이 정규화된 3D 유한차분을 감독하는 포인트 그래디언트 매칭 손실과, 특징을 점진적으로 업샘플링하며 국소 특징 혼합을 위해 이웃 어텐션(Neighborhood Attention)을 사용하는 Neighborhood Attention Decoder(NAD)입니다. 8개의 제로샷 단안 기하학 벤치마크 전반에서 우리의 모델인 SurGe는 전역 포인트 맵 AbsRel에 대해 최고 평균 순위를 달성하며, 국소 포인트 맵 및 포인트 맵 법선 평가를 일관되게 향상시킵니다.
단일 이미지로부터 관절형 물체를 3D 재구성하는 것은, 이미지와 3D 지도(supervision)가 쌍으로 구성된 대규모 학습 데이터셋을 확보하기 어렵기 때문에 도전적인 과제입니다. 최근의 포인트 맵 기반 방법들은 높은 성능을 달성하지만, 신중하게 큐레이션된 포즈 분포를 갖는 수동 제작 관절형 3D 에셋으로부터 렌더링된 합성 데이터셋에 의존합니다. 카메라 시점은 쉽게 샘플링할 수 있는 반면, 사실적인 물체 관절 동작을 생성하는 것은 여전히 비용이 많이 들고 노동 집약적입니다. 우리는 카테고리당 단 하나의 리깅된 정규 메쉬(canonical mesh)만을 활용하여 비주석 2D 이미지 컬렉션을 사용함으로써 이러한 요구 사항을 줄이는 학습 프레임워크를 제안합니다. 정규 포즈 렌더링으로 학습된 약한 3D 형상 예측기(shape predictor)에서 출발하여, 예측된 포인트 맵에 메쉬를 피팅함으로써 물체 관절 동작과 카메라 포즈를 반복적으로 추정합니다. 이렇게 복원된 관절 동작과 시점은 업데이트된 합성 학습 데이터 렌더링에 사용되어 예측기를 점진적으로 향상시킵니다. 상당히 약한 3D 지도를 사용함에도 불구하고, 우리의 모델은 수동으로 큐레이션된 관절형 학습 데이터셋을 필요로 하는 DualPM과 비견되는 성능을 달성합니다.