더 나은 지표로는 소용없다: 무엇을 비교하느냐가 어떻게 비교하느냐보다 중요하다
A Better Metric Will Not Save You: What You Compare Beats How You Compare It
표현 유사도 측도(RSA, CKA, Procrustes)는 자신이 무관하다고 취급하는 변환에 따라 선택되며, 이들 모두는 조건들의 집합을 주어진 것으로 받아들인다. 그 집합은 두 가지 결정, 즉 어떤 입력을 허용할지와 그것들을 어떻게 그룹화할지에 의해 고정되는데, 둘 다 측도가 작동할 행렬이 존재하기 전에 이루어진다: 어떤 불변성(invariance) 속성도 이 결정들에는 미치지 못한다. 우리는 조건들이 가져야 할 배열이 비교 대상 시스템과 독립적으로 알려져 있는 설정, 즉 15개 언어와 27개 표현(representation)에 걸친 모음(vowel)의 음향적 조직(acoustic organisation)에서 이 측도들의 가치를 측정한다. 범주의 개수를 고정한 채 어떤 범주를 비교하는지를 바꾸면 두 표현 간의 격차가 측정 대상 효과의 두 배 이상 움직이지만, 범주의 개수를 바꾸는 것은 전혀 영향을 주지 않는다. 이 설정에서는 이러한 선택에 따라 모델의 순위는 식별 가능하지만, 언어 간 순위는 그렇지 않다.