arXiv:2611.18239v2 cs.LG

오류 정정 부호로서의 신경 분류기

Neural Classifiers as Error-Correcting Codes

Sergey Salishev, Anton Makarov, Oleg Granichin, Renata Avros, Zeev Volkovich

제출 2026-11-13

한국어 초록

지도 심층 분류를 섀넌 의미의 오류 정정 부호 복호로 규정하는 통합 프레임워크를 제안한다. 교차 엔트로피 최적화는 소프트맥스 분류기를 최대 우도 복호와 정렬시키며, 이때 로짓은 클래스별 부호어까지의 해밍 거리에 대응함을 보인다. 이러한 대응은 표준 발산 목적함수(예: Kullback-Leibler, Jeffreys, Bregman)의 등장을 설명하고, 결정 경계의 안정성에 대한 기하학적 근거를 제공한다. 더 나아가 Neural Collapse와 LeJEPA의 기하 구조가 등방성 잡음 하에서 복호를 위한 최적 성상(constellation)임을 규명한다. 고전적인 오류 정정 출력 부호(Error-Correcting Output Codes)와 달리, 심층 신경망은 특징 공간에서 효과적인 코드북을 암묵적으로 학습함을 보인다. 이러한 통찰을 활용하여 무손실 양자화, 개선된 지식 증류, 부호 중복성에 기반한 아키텍처 정규화를 위한 새로운 기준을 도출한다. 마지막으로 이 관점을 자기 지도 인코더로 확장하여, 현대 신경 모델에서 잠재 표현의 기하 구조에 대한 일관된 설명을 제시한다.

원문 초록

A unified framework is proposed that characterizes supervised deep classification as the decoding of error-correcting codes in the Shannon sense. Cross-entropy optimization is shown to align softmax classifiers with maximum-likelihood decoding, where logits map to Hamming distances to class-specific codewords. This correspondence explains the emergence of standard divergence objectives (e.g., Kullback-Leibler, Jeffreys, Bregman) and provides a geometric basis for the stability of decision boundaries. Furthermore, the geometries of Neural Collapse and LeJEPA are identified as optimal constellations for decoding under isotropic noise. Unlike classical Error-Correcting Output Codes, deep networks are shown to learn effective codebooks in the feature space implicitly. This insight is leveraged to derive novel criteria for lossless quantization, improved knowledge distillation, and architectural regularization based on code redundancy. Finally, this perspective is extended to self-supervised encoders, offering a cohesive explanation for the geometry of latent representations in modern neural models.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.18239v2제출 시각 미확인
  2. arXiv:2611.18239v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.