ShapeY: 최근접 이웃 매칭을 통해 형상 인식 능력을 측정하는 원리적 프레임워크
ShapeY: A Principled Framework for Measuring Shape Recognition Capacity via Nearest-Neighbor Matching
인간의 객체 인식(OR)은 형상(shape) 단서와 다양한 3D 시점 전반에서 객체를 인식하는 능력에 크게 의존합니다. 인간과 달리 딥 네트워크는 질감이나 배경과 같은 비형상(non-shape) 단서에 의존하는 경우가 많아, 일반화 및 강인성 측면에서 취약성을 보입니다. 이러한 격차를 해결하기 위해, 우리는 OR 시스템의 형상 기반 인식 능력을 평가하도록 설계된 새롭고 원리적인 벤치마킹 프레임워크인 ShapeY를 도입합니다. ShapeY는 여러 시점에서 렌더링되고 선택적으로 비형상 '외형(appearance)' 변화가 적용된 200개 3D 객체의 그레이스케일 이미지 68,200장으로 구성됩니다. ShapeY는 최근접 이웃(nearest-neighbor) 매칭 태스크를 활용하여, 다양한 3D 시점 및 기타 비형상 변화 전반에서 객체 뷰들이 3D 형상 유사도에 따라 군집화되는지 평가함으로써 OR 시스템의 임베딩 공간의 세밀한 구조를 구체적으로 탐색합니다. ShapeY는 오류율 그래프, 시점 튜닝 곡선, 양성 및 음성 매칭 점수의 히스토그램, 순서화된 최적 매칭을 보여주는 그리드를 포함하는 정량적 및 정성적 성능 분석 모음을 제공하며, 이를 통해 OR 시스템의 형상 이해 능력에 대한 종합적인 평가를 제공합니다. 다양한 아키텍처를 지닌 321개의 사전학습(pre-training) 네트워크를 테스트한 결과, 강인한 형상 기반 인식을 달성하는 데 중대한 난제가 드러났습니다. 최고 수준(state-of-the-art)의 모델조차 3D 시점 및 외형 변화 전반에서 일관되게 일반화하는 데 어려움을 겪으며, 드물지만 명백히 완전히 다른 형상의 객체를 잘못 매칭하는 심각한 오류를 범하기 쉽습니다. ShapeY는 인공 비전 시스템을 인간 수준의 형상 인식 능력으로 발전시키기 위한 원리적 프레임워크를 정립하며, 얽힘이 풀린(disentangled) 불변 객체 인코딩의 중요성을 강조합니다.