PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.13464v1cs.IT

닫힌 형식의 가우시안 BROJA 부분 정보 분해

Gaussian BROJA Partial Information Decomposition in Closed Form

BROJA 부분 정보 분해(partial information decomposition, PID)는 두 개의 정보원(source)이 목표 변수(target)에 대해 전달하는 정보를 고유 정보(unique), 중복 정보(redundant), 시너지 정보(synergistic) 구성요소로 분리하는 조작적으로 타당한 방식을 제공합니다. 그러나 연속형 및 고차원 변수의 경우 BROJA 분해를 계산하려면 어려운 최적화 문제를 풀어야 합니다. 이전 연구에서는 각 정보원-목표 변수 쌍이 결합 가우시안(jointly Gaussian) 분포를 따를 때 이 문제가 유한 차원 수치 최적화로 축소될 수 있음을 보여주었습니다. 본 연구에서는 이 최적화 문제에 대한 닫힌 형식의 해(closed-form solution)를 도출하여 일반적인 다변량 가우시안 환경에서 BROJA 분해를 직접 계산할 수 있도록 합니다. 이를 통해 도출된 닫힌 형식 표현은 고차원 가우시안 BROJA PID에 대해 두 자릿수(100배) 이상의 속도 향상을 가능하게 합니다. 코드는 https://github.com/brainsandmachines/Eigen_PID 에서 확인할 수 있습니다.

arXiv:2606.19410v1stat.ML

스칼라 상호작용의 표현적 한계: 개입적 분해

The Representational Limit of Scalar Interactions: An Interventional Decomposition

부호화된 쌍별(pairwise) 상호작용 점수는 고유성(uniqueness, U), 중복성(redundancy, R), 시너지(synergy, S)를 근본적으로 혼동합니다. 우리는 최소 3-way XOR 구조적 인과 모델(structural causal model)에서 이를 증명합니다: Shapley-Taylor와 같은 충실한(faithful) 지표는 쌍별로 0을 반환하는 반면, Shapley Interaction과 같은 사영(projective) 지표는 세 가지 메커니즘을 혼합하는 쌍 스칼라로 3차 효과를 분산시킵니다. 우리는 개입적 마스킹 추론(interventional masked inference)을 통해 특징(feature)별 U/R/S 프로필을 추정하는 사후(post-hoc), 재학습 없는 예측 가능성 분해 방법인 Stochastic Hi-Fi를 소개합니다. 이 추정기는 정확한 개입적 의미론, 유한 샘플 몬테카를로 경계, 결합 다이아몬드 샘플링(coupled diamond sampling)으로부터의 엄격한 분산 감소, 그리고 균일 유한 어휘 수렴(convergence)을 제공합니다. 표 형식 구조적 인과 모델 전반에서 Stochastic Hi-Fi는 스칼라 기준선이 놓친 구조를 복원합니다(최대 411배 더 큰 상호작용 크기 복원 비율). 또한 GPT-2 IOI 회로에서 중복 및 시너지 헤드를 분리합니다. NIH ChestX-ray14에서 Stochastic Hi-Fi는 Pointing Game에서 GradCAM과 대등하며 Deletion AUC에서 실질적으로 개선되었습니다.