Probing Spectrum-Like Organization of States of Mind in Transformer Representation Spaces
트랜스포머 표현 공간에서 인간의 심리적 상태(state of mind)가 스펙트럼 형태의 기하학적 구조를 형성하는지 탐구하기 위해, 붕괴에서 통합까지 7단계 계층으로 분류된 636개 문장 데이터셋을 구축하고 5개의 동결된 트랜스포머 표현(BGE, MPNet, MiniLM, Qwen3-Embedding, Qwen2.5-3B-Instruct)에 대해 프로빙(probing), UMAP 시각화, 순열 검정, 방향성 절제(directional ablation) 분석을 수행하였다. 모든 표현에서 연속 점수와 이산 계층 레이블이 유의미하게 복원되었으며, UMAP 투영에서 저-고 방향의 그라디언트가 관찰되고 오분류가 인접 계층 사이에 집중되는 등, 트랜스포머 표현 공간이 주석된 심리적 상태 구조와 통계적으로 유의한 스펙트럼형 조직을 포함함을 보였다.