다양체 근사가 강건한 커널 정렬을 이끈다
Manifold Approximation leads to Robust Kernel Alignment
한국어 초록
중심화 커널 정렬(CKA)은 표현을 비교하고, 신경망의 동등성을 판별하며, 신경과학 연구를 수행하는 데 널리 쓰이는 지표이다. 그러나 CKA는 기저 다양체를 고려하지 않으며 다수의 휴리스틱에 의존하여 데이터의 스케일에 따라 다르게 동작한다. 본 연구에서는 정렬 과제에 다양체 기하(즉, 국소 이웃)를 반영하는 다양체 근사 커널 정렬(Manifold-approximated Kernel Alignment, MKA)을 제안한다. 우리는 MKA의 이론적 틀을 도출한다. 이 구성은 표현에 의존하는 차수 가중을 제거하고, 닫힌 형태의 정렬 점수를 제공하며, 각 행에 국소 마르코프 전이 분포라는 확률적 해석을 부여한다. 또한 이웃 크기에 대한 커널 수준 및 점수 수준의 안정성을 증명한다. 합성 데이터셋과 실제 사례에 대한 실증 평가를 수행하여 MKA를 기존 방법들과 특성화하고 비교한다. 통제된 합성 실험에서 MKA는 하이퍼파라미터에 일관되게 덜 민감하며 선택된 위상 보존 관계를 포착한다. 대규모 벤치마크에서 MKA는 비전 분야에서 가장 강력한 종합 성능을 보이고, 그래프에서는 경쟁력이 있으며, 여러 NLP 평가에서는 CKA보다 약하다. 우리의 결과는 다양체를 고려한 커널 정렬이 표현을 측정하기 위한 견고한 토대를 제공하며 국소 이웃 기하가 중요한 경우에 유용할 수 있고, 표현 학습에도 응용될 가능성이 있음을 시사한다.
원문 초록
Centered kernel alignment (CKA) is a popular metric for comparing representations, determining equivalence of networks, and conducting neuroscience research. However, CKA does not account for the underlying manifold and relies on numerous heuristics that cause it to behave differently at different scales of data. In this work, we propose Manifold-approximated Kernel Alignment (MKA), which incorporates manifold geometry (i.e., local neighborhood) into the alignment task. We derive a theoretical framework for MKA. Our construction removes representation-dependent degree weighting, yields a closed-form alignment score, and gives each row a probabilistic interpretation as a local Markov transition distribution. We further establish kernel- and score-level stability with respect to the neighborhood size. We perform empirical evaluations on synthetic datasets and real-world examples to characterize and compare MKA to its contemporaries. In controlled synthetic experiments, MKA is consistently less sensitive to hyperparameters and captures the selected topology-preserving relationships. On the large-scale benchmark, MKA achieves its strongest aggregate performance in vision, is competitive on graphs, and is weaker than CKA in several NLP evaluations. Our findings suggest that manifold-aware kernel alignment provides a robust foundation for measuring representations and is potentially useful when local neighborhood geometry is important, with possible applications in representation learning.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2510.22953v3제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.