포인트 클라우드의 자기 지도 표현 학습을 위한 point2vec
point2vec for Self-Supervised Representation Learning on Point Clouds
우리는 교사 네트워크의 잠재 특징에 대한 마스킹 예측을 통해 포인트 클라우드 표현을 학습하는 자기 지도 방법인 point2vec을 제시한다. data2vec을 기반으로 하여, 이 접근법을 포인트 클라우드에 적용할 때의 한계를 조사한다. 마스킹된 패치와 연관된 위치 정보가 학생 네트워크에 전체 객체 형태를 드러내어, 강한 마스킹 하에서도 학습 과제를 약화시킨다는 점이다. point2vec은 보이는 패치만 학생 인코더에 전달하고 마스킹된 패치의 표현을 예측하는 얕은 디코더를 도입하여 이 문제를 해결한다. 교사는 완전한 포인트 클라우드를 처리하여 맥락화된 학습 목표를 제공한다. 이러한 목표는 교사의 셀프 어텐션을 통해 전역 맥락을 포착하여 개별 패치의 국소 기하를 넘어선 지도를 제공한다. 이 설계는 마스킹된 패치의 위치를 학생에게 숨기고 사전 학습 중 계산 비용을 줄인다. 어블레이션 결과, 디코더만으로는 개선의 일부만 얻어지며 위치 정보를 숨기는 것이 핵심임을 보인다. ShapeNet에서 사전 학습한 후, point2vec은 ModelNet40과 ScanObjectNN의 형상 분류 및 ModelNet40의 퓨샷 분류에서 평가된 자기 지도 기준 모델들을 능가하며, ShapeNetPart의 부분 분할에서는 경쟁력 있는 결과를 달성한다.