arXiv:2609.00764v1 cs.LG

당신도 제가 생각하는 것을 생각하고 있나요?: 신경망 아키텍처의 개념 분리 분석

Are You Thinking What I am Thinking? : Examining Conceptual Separation in Neural Architectures

Jaee Ponde, Roshni Agarwal, Subhashis Banerjee

제출 2026-09-01

한국어 초록

신경망은 명확하게 정의된 개념과 모호한 개념을 모두 식별하는 데 점점 더 많이 활용되고 있지만, 출력 수준의 지표만으로는 이러한 개념이 내부적으로 어떻게 표현되는지를 거의 알 수 없다. 본 연구는 이러한 신경망이 \textit{개념 분리(conceptual separation)}를 보이는지, 즉 동일한 개념에 속하는 예시들이 일관된 표현을 형성하는지, 그리고 관련된 개념들이 표현 공간에서 서로 더 가까이 위치하는지를 묻는다. 우리는 합성곱 신경망(CNN)과 대규모 언어 모델(LLM)의 내부 활성화(activation)에 대한 기하학적 분석과 분포 분석을 통해 이러한 개념적 조직을 살펴본다. CNN에서는 익숙한 ImageNet 개념들이 일관되고 의미적으로 질서 있는 표현을 형성하는 반면, 이러한 일관성은 학습하지 않은 개념에서는 약해지며 클래스 내 도메인 변화(domain shift)의 영향을 받는다. LLM에서는 명확히 구별되는 도메인들은 잘 분리된 상태를 유지하고, 관련된 하위 도메인들은 서로 더 가까워지며, 모호한 주제 간의 구분은 평균과 공분산 수준 모두에서 무너진다. 이러한 결과는 개념 분리가 출력 정확도만으로는 드러나지 않는 구조를 밝혀낼 수 있으며, 모델이 식별하도록 요구받은 개념을 얼마나 견고하게 표현하는지를 진단하는 유용한 도구가 될 수 있음을 시사한다. 코드와 데이터는 \href{https://github.com/JaeeRoshniCapstoneProject/Are-You-Thinking-What-I-m-Thinking-Examining-Conceptual-Separation-in-Neural-Architectures}{GitHub}에서 확인할 수 있다.

원문 초록

Neural networks are increasingly employed to identify both well-defined and ambiguous concepts, yet output-level metrics reveal little about how those concepts are represented internally. Our study asks if these networks exhibit \textit{conceptual separation}: if examples of the same concept form coherent representations, and whether related concepts lie closer together in the representation space. We examine this conceptual organisation in Convolutional Neural Networks (CNNs) and Large Language Models (LLMs) through geometric and distributional analysis of their internal activations. In CNNs, familiar ImageNet concepts form coherent and semantically ordered representations, while this coherence weakens for unseen concepts and suffers within-class domain shift. In LLMs, clearly distinct domains remain well separated, related subdomains move closer together, and the distinction between ambiguous topics collapses at both the mean and covariance level. These results suggest that conceptual separation can reveal structure that output accuracy alone cannot, and may serve as a useful diagnostic of how robustly a model represents the concepts it is asked to identify. Code and data available on \href{https://github.com/JaeeRoshniCapstoneProject/Are-You-Thinking-What-I-m-Thinking-Examining-Conceptual-Separation-in-Neural-Architectures}{GitHub}.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2609.00764v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.