선형 표현 가설에는 군 작용이 필요하다
The Linear Representation Hypothesis Needs a Group Action
특정 학습된 모델을 넘어 일반화되는 표현(representation)에 대한 주장을 펼치려면, 두 표현이 언제 동등하다고 간주되어야 하는지 명시해야 합니다. 선형 표현 가설(Linear Representation Hypothesis)은 종종 이러한 동등성을 명시하지 않은 채 논의됩니다. 서로 다른 동등성 개념은 서로 다른 구조를 보존하므로, 동일한 표현을 연구하는 것처럼 보이는 지표(metric), 프로브(probe), 개입(intervention)이 실제로는 서로 다른 가설에 대응할 수 있습니다. 따라서 우리는 선형 표현 가설이 단일한 가설이 아니라 표현 동등성에 의해 구별되는 일련의 주장 군(family of claims)이라고 주장합니다. 우리는 모델 아키텍처에 의해 부과되는 동등성을 고려하면서 표현 대상, 이를 생성하는 절차, 궁극적으로 주장되는 특성을 명시하여 군 작용(group action)을 통해 이 아이디어를 정식화합니다. 이 프레임워크는 지표, 판독 시점(reading point), 분석 단계에 걸쳐 가정이 어떻게 달라질 수 있는지를 명확히 하며, 우리는 이를 활용해 일반적인 표현 측정치와 최근의 해석 가능성 분석을 점검합니다.