PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2605.30638v2cs.LG

점수 브로드캐스트 및 비상관화: 브로드캐스트 기반 기여도 할당을 위한 일반적 프레임워크

Score Broadcast and Decorrelation: A General Framework for Broadcast-Based Credit Assignment

본 논문에서는 미분 가능한 일반 손실군(families of differentiable losses)을 대상으로 브로드캐스트 기반 기여도 할당(credit assignment)을 수행하는 원리적 프레임워크인 점수 브로드캐스트 및 비상관화(Score Broadcast and Decorrelation, SBD)를 소개합니다. 오차 브로드캐스트(error broadcast)는 가중치 수송(weight transport) 없이 출력 정보를 은닉층(hidden layers)으로 전달하여 역전파(backpropagation)를 대체할 수 있는 생물학적으로 타당한 대안입니다. 평균 제곱 오차(MSE) 환경에 대해 최근 도입된 오차 브로드캐스트 및 비상관화(EBD) 프레임워크는 최적 잔차(optimal residual)가 입력 함수와 직교한다는 최적 추정량의 확률적 직교성에 이 메커니즘의 기반을 두었습니다. 본 연구는 최적 점수의 조건부 평균이 0일 때마다 성립하는 출력 점수(최종 층 출력에 대한 손실의 그래디언트)와 은닉층 활성화 간의 직교성 원리를 도입하여 이러한 토대를 일반화합니다. 이 단일 원리는 교차 엔트로피(cross-entropy), 브레그만 발산(Bregman divergences), 적절한 점수 매김 규칙(proper scoring rules), 지수족 음의 로그 우도(negative log-likelihoods)를 포함한 표준 미분 가능 손실군 전반에서 브로드캐스트 기반 기여도 할당을 통합합니다. 이 프레임워크는 브로드캐스트 손실 점수로부터 신경조절 인자(neuromodulatory factor)가 유도되는 일반 손실 하의 3요소 학습 규칙(three-factor learning rule)에 대한 이론적 토대를 제공합니다. 본 논문에서는 교차 엔트로피 사례를 명시적으로 유도하고 허용 가능한 손실군을 특성화하며, 직교성 프레임워크를 유지하면서 브로드캐스트 신호를 풍부하게 만드는 점수 벡터 확장(score vector expansion) 기법을 소개합니다. CIFAR-10 및 Tiny ImageNet에 대한 실험 결과, SBD가 기존 브로드캐스트 접근법 대비 크게 개선되었으며 점수 벡터 확장을 통해 추가적인 성능 향상을 달성함을 보여줍니다. 종합적으로 본 연구는 손실 점수를 브로드캐스트할 신호로 규명하고, 뇌신경과학의 3요소 학습 규칙에 대한 직교성 이론 및 이론적 근거를 제공하며, 점수 벡터 확장이 결과 목적함수의 비상관화 방향을 어떻게 풍부하게 하는지 보여줍니다.