arXiv:2609.08561v2 cs.LG

신경망 표현에서의 검증된 위상학적 상호작용: 정확 검정과 이를 위해 요구되는 통계량

Certified Topological Interaction in Neural Representations: Exact Tests and the Statistic They Require

Sushovan Majhi

제출 2026-09-21

한국어 초록

깊이 방향 및 학습(training) 진행에 따른 표현의 클래스 조건부 포인트 클라우드 분리를 의미하는 클래스 얽힘 풀기(disentanglement)는 기술 곡선(descriptive curve)으로 측정되어 왔습니다. 이러한 연구가 도출하고자 하는 '층(layer) l+1이 층 l보다 더 얽힘이 풀려 있다'라는 서술은 귀무가설이 결여된 육안 판정에 불과합니다. 본 연구에서는 경계 행렬 축소(boundary-matrix reduction)가 없는 단 한 번의 알파 복합체(Alpha-complex) 스위프를 통해, 스케일의 함수로서 클라우드들의 볼 합집합 중첩에 대한 오일러 지표를 나타내는 '교집합 오일러 지표 프로파일(Intersection Euler Characteristic Profile)'이라는 클래스 중첩의 위상학적 측정을 위한 추론 층을 제공합니다. 모든 수치에는 검정이 수반됩니다. 양방향의 정확 순열 검정(exact permutation test), 해당 불변량이 요구하는 보호된 분리 증명, 비교 주장을 위한 대응 부호-반전 검정(paired sign-flip test)이 포함됩니다. 이러한 검정을 구축하는 과정에서 본 불변량을 넘어서는 교훈을 얻었습니다. 바로 통계량이 척도 무관(scale-free)이어야 한다는 점입니다. 특징(feature) 길이 단위를 갖는 가공되지 않은 프로파일 질량의 경우, 12,375개의 대응 검정에서 5,633개의 유의미한 스텝이 도출되었으나 첫 번째 에포크(epoch)의 모든 스텝이 잘못된 방향을 가리켜 특징 노름(feature-norm)의 동역학을 얽힘 풀기로 잘못 인증했습니다. 반면 무차원 통계량은 2,707개를 산출했으며, 이 중 2,026개가 감소세를 보였습니다. 111개 네트워크와 52,650회의 측정 전반에 걸쳐, 얽힘 풀기는 층 깊이에 따라 점진적이고 초기에 발생하며, 상호작용 몫(interaction quotient)은 혼동 가능성에 따라 클래스 쌍의 순위를 매겨(rho=0.83) 저비용 분리도 통계량과 동등한 수준을 보였습니다. 96개 모델(model) 요인 분석에서, 데이터 증강(augmentation)은 무작위 수준에 비해 클래스를 분리하는 유일한 학습 선택이었으며, 가중치(weight) 감쇠는 분리 없이 중첩을 압축할 뿐이었습니다. 오직 k-겹(k-fold) 통계량만이 구조적 질문을 던질 수 있습니다. 비전 인코더 및 동결된 언어 모델에서 클래스 삼중쌍(triple)의 결합 얽힘은 삼중층 셀의 97%와 심층 셀의 99.5%에서 가장 강한 쌍보다 아래에 위치하며, 그 중앙값 비율은 측정된 귀무 최저치보다 훨씬 낮았는데, 이는 법칙이 아닌 규칙성입니다. 정규화되지 않은 질량은 테스트 정확도를 예측하지만(R^2=0.94), 몫은 그렇지 못하며, 둘 다 선형 프로브(linear probe)의 성능을 넘어서지는 못합니다.

원문 초록

Class disentanglement--the separation of a representation's class-conditional point clouds along depth and over training--is measured by descriptive curves: the sentence such a study wants to write, layer l+1 is more disentangled than layer l, is an eyeball judgement with no null. We supply the inferential layer for a topological measurement of class overlap, the Intersection Euler Characteristic Profile: the Euler characteristic of the overlap of the clouds' ball unions as a function of scale, from one Alpha-complex sweep with no boundary-matrix reduction. Every number carries a test--exact permutation tests in both directions, a guarded separation certificate the invariant requires, and a paired sign-flip test for comparative claims. Building that test taught a lesson outliving this invariant: its statistic must be scale-free. On the raw profile mass, which has units of feature length, 12,375 paired tests return 5,633 significant steps of which every one at the first epoch points the wrong way, certifying feature-norm dynamics as disentanglement; the dimensionless statistic returns 2,707, with 2,026 decreases. Across 111 networks and 52,650 measurements, disentanglement is depth-graded and early, and interaction quotients rank class pairs by confusability (rho=0.83), on par with cheap separability statistics. In a 96-model factorial, augmentation is the one training choice that separates classes relative to chance; weight decay compresses the overlap without separating. Only a k-fold statistic can pose the structural question: the joint entanglement of a class triple sits below its strongest pair in 97% of triple-layer cells and 99.5% of deep cells, at median ratios far below a measured null floor, in vision encoders and frozen language models--a regularity, not a law. The unnormalized mass predicts test accuracy (R^2=0.94), the quotient does not, and neither beats a linear probe.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2609.08561v2제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.