표현 유사도 측도(RSA, CKA, Procrustes)는 자신이 무관하다고 취급하는 변환에 따라 선택되며, 이들 모두는 조건들의 집합을 주어진 것으로 받아들인다. 그 집합은 두 가지 결정, 즉 어떤 입력을 허용할지와 그것들을 어떻게 그룹화할지에 의해 고정되는데, 둘 다 측도가 작동할 행렬이 존재하기 전에 이루어진다: 어떤 불변성(invariance) 속성도 이 결정들에는 미치지 못한다. 우리는 조건들이 가져야 할 배열이 비교 대상 시스템과 독립적으로 알려져 있는 설정, 즉 15개 언어와 27개 표현(representation)에 걸친 모음(vowel)의 음향적 조직(acoustic organisation)에서 이 측도들의 가치를 측정한다. 범주의 개수를 고정한 채 어떤 범주를 비교하는지를 바꾸면 두 표현 간의 격차가 측정 대상 효과의 두 배 이상 움직이지만, 범주의 개수를 바꾸는 것은 전혀 영향을 주지 않는다. 이 설정에서는 이러한 선택에 따라 모델의 순위는 식별 가능하지만, 언어 간 순위는 그렇지 않다.
표현 유사도 행렬(RSM)은 신경 부호(neural code)에 대해 무엇을 알려줄 수 있을까요? 이러한 요약 통계량의 인기가 높아짐에 따라, 그 특성에 대한 보다 완전한 규명의 필요성 또한 커지고 있습니다. 본 연구에서는 네트워크 입력의 대칭성이 RSM 기반 분석을 혼동시킬 수 있음을 보입니다. 자극 대칭성은 많은 표현들을 기능적으로 동등하게 만들지만, 이러한 서로 다른 구성들은 서로 다른 RSM으로 이어질 수 있습니다. 이렇게 서로 다른 RSM은 얽힘이 풀린(disentangled) 부호부터 최대로 혼합된(maximally-mixed) 부호에 이르기까지, 정성적으로 서로 다른 표현 기하학을 반영합니다. 우리는 확률적 경사하강법(stochastic gradient descent)이나 에너지 정규화(energetic regularization)가 희소하고 표류하는(drifting) 부호를 생성할 수 있으며, 이는 결과적으로 표류하는 RSM으로 이어진다는 점을 보여줍니다. 나아가, 대칭성이 잠재되어 있는 이미지 데이터를 인코딩하도록 학습된 네트워크에서도 이러한 현상이 나타남을 입증합니다. 본 연구 결과는 기능적으로 동등한 표현들이 단순한 회전으로 연관되지 않을 때, 비선형 신경 부호를 비교하는 데 내재된 어려움을 잘 보여줍니다.
Reddit 정신 건강 커뮤니티 28개에서 Qwen3 임베딩(0.6B·4B)의 표현 유사성 분석(RSA)과 교란 요인 통제를 통해, 범주 분리성만으로는 전문가 증상 구조 복원을 보장할 수 없음을 보인다. 사전학습 임베딩은 전문가 구조와 측정 가능한 정렬을 보이고 미세조정·대규모 모델이 세밀한 수준의 정렬을 강화하며, VAD·LIWC·문체·주제 분포를 통제한 뒤에도 잔여 정렬이 남아 LLM 임베딩이 전문가 관련 범주 기하학을 부분적으로 복원할 수 있음을 시사한다.