당신도 제가 생각하는 것을 생각하고 있나요?: 신경망 아키텍처의 개념 분리 분석
Are You Thinking What I am Thinking? : Examining Conceptual Separation in Neural Architectures
신경망은 명확하게 정의된 개념과 모호한 개념을 모두 식별하는 데 점점 더 많이 활용되고 있지만, 출력 수준의 지표만으로는 이러한 개념이 내부적으로 어떻게 표현되는지를 거의 알 수 없다. 본 연구는 이러한 신경망이 \textit{개념 분리(conceptual separation)}를 보이는지, 즉 동일한 개념에 속하는 예시들이 일관된 표현을 형성하는지, 그리고 관련된 개념들이 표현 공간에서 서로 더 가까이 위치하는지를 묻는다. 우리는 합성곱 신경망(CNN)과 대규모 언어 모델(LLM)의 내부 활성화(activation)에 대한 기하학적 분석과 분포 분석을 통해 이러한 개념적 조직을 살펴본다. CNN에서는 익숙한 ImageNet 개념들이 일관되고 의미적으로 질서 있는 표현을 형성하는 반면, 이러한 일관성은 학습하지 않은 개념에서는 약해지며 클래스 내 도메인 변화(domain shift)의 영향을 받는다. LLM에서는 명확히 구별되는 도메인들은 잘 분리된 상태를 유지하고, 관련된 하위 도메인들은 서로 더 가까워지며, 모호한 주제 간의 구분은 평균과 공분산 수준 모두에서 무너진다. 이러한 결과는 개념 분리가 출력 정확도만으로는 드러나지 않는 구조를 밝혀낼 수 있으며, 모델이 식별하도록 요구받은 개념을 얼마나 견고하게 표현하는지를 진단하는 유용한 도구가 될 수 있음을 시사한다. 코드와 데이터는 \href{https://github.com/JaeeRoshniCapstoneProject/Are-You-Thinking-What-I-m-Thinking-Examining-Conceptual-Separation-in-Neural-Architectures}{GitHub}에서 확인할 수 있다.