PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2605.30638v2cs.LG

점수 브로드캐스트 및 비상관화: 브로드캐스트 기반 기여도 할당을 위한 일반적 프레임워크

Score Broadcast and Decorrelation: A General Framework for Broadcast-Based Credit Assignment

본 논문에서는 미분 가능한 일반 손실군(families of differentiable losses)을 대상으로 브로드캐스트 기반 기여도 할당(credit assignment)을 수행하는 원리적 프레임워크인 점수 브로드캐스트 및 비상관화(Score Broadcast and Decorrelation, SBD)를 소개합니다. 오차 브로드캐스트(error broadcast)는 가중치 수송(weight transport) 없이 출력 정보를 은닉층(hidden layers)으로 전달하여 역전파(backpropagation)를 대체할 수 있는 생물학적으로 타당한 대안입니다. 평균 제곱 오차(MSE) 환경에 대해 최근 도입된 오차 브로드캐스트 및 비상관화(EBD) 프레임워크는 최적 잔차(optimal residual)가 입력 함수와 직교한다는 최적 추정량의 확률적 직교성에 이 메커니즘의 기반을 두었습니다. 본 연구는 최적 점수의 조건부 평균이 0일 때마다 성립하는 출력 점수(최종 층 출력에 대한 손실의 그래디언트)와 은닉층 활성화 간의 직교성 원리를 도입하여 이러한 토대를 일반화합니다. 이 단일 원리는 교차 엔트로피(cross-entropy), 브레그만 발산(Bregman divergences), 적절한 점수 매김 규칙(proper scoring rules), 지수족 음의 로그 우도(negative log-likelihoods)를 포함한 표준 미분 가능 손실군 전반에서 브로드캐스트 기반 기여도 할당을 통합합니다. 이 프레임워크는 브로드캐스트 손실 점수로부터 신경조절 인자(neuromodulatory factor)가 유도되는 일반 손실 하의 3요소 학습 규칙(three-factor learning rule)에 대한 이론적 토대를 제공합니다. 본 논문에서는 교차 엔트로피 사례를 명시적으로 유도하고 허용 가능한 손실군을 특성화하며, 직교성 프레임워크를 유지하면서 브로드캐스트 신호를 풍부하게 만드는 점수 벡터 확장(score vector expansion) 기법을 소개합니다. CIFAR-10 및 Tiny ImageNet에 대한 실험 결과, SBD가 기존 브로드캐스트 접근법 대비 크게 개선되었으며 점수 벡터 확장을 통해 추가적인 성능 향상을 달성함을 보여줍니다. 종합적으로 본 연구는 손실 점수를 브로드캐스트할 신호로 규명하고, 뇌신경과학의 3요소 학습 규칙에 대한 직교성 이론 및 이론적 근거를 제공하며, 점수 벡터 확장이 결과 목적함수의 비상관화 방향을 어떻게 풍부하게 하는지 보여줍니다.

arXiv:2606.29528v1cs.NE

심층 역류 연관 네트워크에서의 지도 헤비안 학습

Supervised Hebbian learning in Deep Counterstream Associative Networks

현대 머신러닝 응용 분야에서는 오류 역전파(backpropagation) 알고리즘으로 학습하는 심층 신경망을 사용한다. 이 알고리즘은 매우 효과적이지만 생물학적 현실성이 결여되어 있다. 예를 들어, 역전파는 대칭적 연결성과 오류 신호를 위한 별도의 신경 처리 채널을 요구한다. 이에 따라 선행 연구들은 오류 역전파에 대한 보다 현실적인 대안들을 다수 제안해 왔다. 그러나 이들 대부분은 실제 뇌에서 충족되지 않을 수 있는 까다로운 전제 조건을 여전히 필요로 하며, 예를 들어 대칭적 연결성이나 두 개의 별도 처리 채널을 여전히 요구하는 경우가 많고, 빼기 연산이나 함수 역산과 같은 특수 수학적 연산을 필요로 하기도 한다. 본 논문에서는 심층 연관 네트워크에서의 지도 역류 학습(supervised counterstream learning)을 더 단순한 접근 방식으로 제안한다. 이 방법은 학습 중 오류 인식만을 요구하며, 순방향 전파에 사용되는 것과 동일한 활성 채널을 통해 교정 목표 활성을 역전파한다. 이를 위해 입력층과 출력층에서 동시에 두 개의 활성 파동이 시작되어 서로 반대 방향으로 이동하며 은닉층 중 하나에서 만나게 된다. 간단한 지역 헤비안(Hebbian) 방식의 학습 규칙을 적용함으로써 해당 활성 패턴 시퀀스들이 양방향으로 연결되어 시간이 지남에 따라 오류율이 감소한다. 단순성과 불완전한 하이퍼파라미터 최적화에도 불구하고, (이진화된) MNIST 데이터셋에서 더 까다로운 아키텍처와 비교할 만한 높은 테스트 정확도를 달성하였다.