FFR: 회귀를 위한 포워드-포워드 학습
FFR: Forward-Forward Learning for Regression
포워드-포워드(Forward-Forward, FF) 알고리즘은 순수하게 국소적인 층(layer)별 최적화를 통해 신경망을 학습(training)시킴으로써 역전파(backpropagation, BP)에 대한 계산 효율적이며 생물학적으로 타당한 대안을 제공합니다. 그러나 FF는 대조적인 양성-음성 샘플 쌍을 통한 분류(classification)를 목적으로 본질적으로 설계되었으며, 이를 회귀로 확장하는 데에는 근본적인 난제들이 존재합니다. 즉, 연속적인 타깃 공간에는 대조 학습을 위한 자연스러운 "반대(opposites)"가 결여되어 있고, 표준 적합도(goodness) 함수는 타깃의 크기나 순서에 대한 정보를 담고 있지 않습니다. 본 논문에서는 우리가 아는 한 FF를 실제 회귀 문제로 확장하고 다양한 실제 데이터셋에 걸쳐 경쟁력 있는 성능을 입증한 최초의 프레임워크인 FFR(Forward-Forward for Regression)을 제안합니다. FFR은 세 가지 핵심적인 혁신을 도입합니다: (1) 대조 쌍 대신 거리 인식 순서형 감독 하에서 분할된 뉴런 그룹 간의 경쟁 학습을 활용하는 순서형 경쟁 적합도 함수, (2) 얕은 층은 거친 순서 구분을 학습하고 깊은 층은 미세 회귀로 정제하며 층간 협업을 위한 다중 스케일 특징(feature) 집계를 포함하는 계층화된 사다리 아키텍처, (3) 다중 스케일 예측기가 공동으로 강건한 예측과 1회 전달(single-pass) 불확실성 점수를 제공하는 불확실성 추정을 동반한 계층적 예측. 광범위한 실험 결과는 FFR이 6개의 실제 회귀 벤치마크에서 BP 정확도의 평균 98.5%를 회복하는 동시에, 최대 학습 메모리를 깊이 8에서 BP의 27%, 깊이 32에서 BP의 8% 수준으로 절감하고 반복(iteration)당 시간을 BP의 약 72% 수준으로 단축하며, 모든 무역전파(BP-free) 경쟁 모델들을 크게 능가함을 보여줍니다.