arXiv:2504.15779v2 cs.IT

섀넌 관측량: 정보 분해를 위한 확장 가능한 접근

Shannon observables: A scalable approach to information decomposition

Aaron J. Gutknecht, Fernando E. Rosas, David A. Ehrlich, Abdullah Makkeh, Pedro A. M. Mediano, Michael Wibral

제출 2025-04-22

한국어 초록

생물학적 신경망과 인공 신경망 같은 분산 시스템은 여러 하위 시스템이 관여하는 복잡한 상호작용을 통해 정보를 처리하며, 그 결과 시스템 내 정보는 규모에 따라 서로 다른 특성을 갖는 고차 구조를 이룬다. 이러한 시스템이 정보를 어떻게 처리하는지 조사하는 일은 적절한 다변량 지표를 정의하고 이를 대규모 시스템으로 확장하는 데 어려움이 있어 여전히 도전적이다. 이러한 문제를 해결하기 위해 우리는 "섀넌 관측량(Shannon observables)"이라 부르는 개념에 기반한 새로운 프레임워크를 도입한다. 이는 고차 정보 처리의 본질적 특성을 포착하면서도 섀넌 엔트로피로부터 직접 계산할 수 있고 대규모 시스템으로 효율적으로 확장되는 양이다. 우리의 이론적 결과는 널리 사용되는 다변량 정보 이론적 척도의 해석에 관한 오랜 모호성을 해소하는 데 섀넌 관측량을 어떻게 사용할 수 있는지 보여준다. 실용적 측면에서는 여러 분야에 걸쳐 이 프레임워크의 다양한 활용성을 입증한다. 오류 정정 부호에 대한 해석적 연구는 채널 잡음이 변함에 따라 섀넌 관측량이 서로 다른 부호화 영역을 어떻게 그려내는지 보여주며, 심층 분류기와 합성곱 오토인코더에 대한 분석은 계층 간 및 학습 과정에 따른 특징적인 정보 처리 양상을 드러낸다. 또한 인간 뇌의 뇌자도 기록에 적용하면, 이 프레임워크는 방향성 정보 전달에서 뚜렷한 지역적 구조를 드러내는 피질 지도를 제공한다. 전반적으로 우리의 프레임워크는 고차 정보 현상을 분석하는 데 있던 근본적 한계를 해소하며, 이론적 발전과 실증 분석을 위한 폭넓은 기회를 제공한다.

원문 초록

Distributed systems, such as biological and artificial neural networks, process information via complex interactions engaging multiple subsystems, resulting in high-order structure of the information within the system with distinct properties across scales. Investigating how these systems process information remains challenging due to difficulties in defining appropriate multivariate metrics and ensuring their scalability to large systems. To address these challenges, we introduce a novel framework based on what we call "Shannon observables": quantities that capture essential properties of high-order information processing, yet can be computed directly from Shannon entropies and scale efficiently to large systems. Our theoretical results demonstrate how Shannon observables can be used to resolve long-standing ambiguities regarding the interpretation of widely used multivariate information-theoretic measures. On the practical side, we demonstrate the framework's versatility across several domains. An analytical study of error-correcting codes shows how Shannon observables trace out distinct encoding regimes as channel noise varies; analyses of deep classifiers and convolutional autoencoders reveal characteristic information-processing signatures across layers and over training; and applied to magnetoencephalography recordings from the human brain, the framework yields a cortical atlas exposing pronounced regional structure in directed information transfer. Overall, our framework resolves fundamental limitations in analysing high-order information phenomena and offers broad opportunities for theoretical developments and empirical analyses.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2504.15779v2제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.