arXiv:2606.03927v2 cs.LG

FFR: 회귀를 위한 포워드-포워드 학습

FFR: Forward-Forward Learning for Regression

Xinyang Liu, Xuanyu Liang, Shiqi Ding, Boyang Li, Zhiqiang Que, Jiayang Li, Guosheng Hu

제출 2026-06-02

한국어 초록

포워드-포워드(Forward-Forward, FF) 알고리즘은 순수하게 국소적인 층(layer)별 최적화를 통해 신경망을 학습(training)시킴으로써 역전파(backpropagation, BP)에 대한 계산 효율적이며 생물학적으로 타당한 대안을 제공합니다. 그러나 FF는 대조적인 양성-음성 샘플 쌍을 통한 분류(classification)를 목적으로 본질적으로 설계되었으며, 이를 회귀로 확장하는 데에는 근본적인 난제들이 존재합니다. 즉, 연속적인 타깃 공간에는 대조 학습을 위한 자연스러운 "반대(opposites)"가 결여되어 있고, 표준 적합도(goodness) 함수는 타깃의 크기나 순서에 대한 정보를 담고 있지 않습니다. 본 논문에서는 우리가 아는 한 FF를 실제 회귀 문제로 확장하고 다양한 실제 데이터셋에 걸쳐 경쟁력 있는 성능을 입증한 최초의 프레임워크인 FFR(Forward-Forward for Regression)을 제안합니다. FFR은 세 가지 핵심적인 혁신을 도입합니다: (1) 대조 쌍 대신 거리 인식 순서형 감독 하에서 분할된 뉴런 그룹 간의 경쟁 학습을 활용하는 순서형 경쟁 적합도 함수, (2) 얕은 층은 거친 순서 구분을 학습하고 깊은 층은 미세 회귀로 정제하며 층간 협업을 위한 다중 스케일 특징(feature) 집계를 포함하는 계층화된 사다리 아키텍처, (3) 다중 스케일 예측기가 공동으로 강건한 예측과 1회 전달(single-pass) 불확실성 점수를 제공하는 불확실성 추정을 동반한 계층적 예측. 광범위한 실험 결과는 FFR이 6개의 실제 회귀 벤치마크에서 BP 정확도의 평균 98.5%를 회복하는 동시에, 최대 학습 메모리를 깊이 8에서 BP의 27%, 깊이 32에서 BP의 8% 수준으로 절감하고 반복(iteration)당 시간을 BP의 약 72% 수준으로 단축하며, 모든 무역전파(BP-free) 경쟁 모델들을 크게 능가함을 보여줍니다.

원문 초록

The Forward-Forward (FF) algorithm offers a computationally efficient and biologically plausible alternative to backpropagation (BP) by training neural networks through purely local, layer-wise optimization. However, FF is inherently designed for classification via contrastive positive-negative sample pairs, and extending it to regression poses fundamental challenges: continuous target space lacks natural "opposites" for contrastive learning, and the standard goodness function carries no information about target magnitude or ordering. We propose FFR (Forward-Forward for Regression), to our knowledge, the first framework to extend FF to real-world regression and demonstrate competitive performance across diverse realworld datasets. FFR introduces three key innovations: (1) an ordinal competitive goodness function that replaces contrastive pairs with competitive learning between partitioned neuron groups under distance-aware ordinal supervision; (2) a stratified ladder architecture where shallow layers learn coarse ordinal discrimination and deeper layers refine into fine-grained regression, with multi-scale feature aggregation for inter-layer collaboration; and (3) hierarchical prediction with uncertainty estimation, where multi-scale predictors jointly provide robust predictions and a single-pass uncertainty score. Extensive experimental results show FFR recovers on average 98.5% of BP's accuracy across six real-world regression benchmarks while reducing peak training memory to only 27% of BP's at depth 8 and 8% at depth 32, with per-iteration time around 72% of BP's, and substantially outperforms all BP-free competitors.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.03927v2

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.00017v1cs.CV공통 태그 Uncertainty Quantification, Computational Efficiency

조밀 예측(Dense Prediction)을 위한 Spatial Lifting

Spatial Lifting for Dense Prediction

우리는 조밀 예측(dense prediction) 작업을 위한 새로운 방법론인 Spatial Lifting(SL)을 제시한다. SL은 2D 이미지와 같은 표준 입력을 더 높은 차원의 공간으로 리프팅(lifting)한 후, 3D U-Net과 같이 해당 고차원에 맞게 설계된 네트워크를 사용하여 이를 처리하는 방식으로 동작한다. 직관에 반하게도, 이러한 차원 리프팅을 통해 기존 접근법 대비 벤치마크 작업에서 우수한 성능을 달성하는 동시에 추론(inference) 비용을 줄이고 모델(model) 파라미터 수를 대폭 줄일 수 있다. SL 프레임워크는 리프팅된 차원을 따라 본질적으로 구조화된 출력을 생성한다. 이러한 창발적(emergent) 구조는 학습(training) 중 조밀한 지도(supervision)를 가능하게 하고, 테스트 시점에 단일 순전파(forward pass)만으로 자기 일관성(self-consistency) 기반의 품질 및 불확실성 추정을 가능하게 한다. Spatial Lifting은 비전(vision) 분야의 조밀 예측 작업을 위해 더 효율적이고 정확하며 신뢰할 수 있는 딥 네트워크로 나아가는 유망한 경로를 제시하는 간단하고 일반적인 모델링 전략을 소개한다.

arXiv:2609.26843v1math.NA공통 태그 Uncertainty Quantification, Computational Efficiency

잔차 기반 적응형 GMsFEM을 위한 가우시안 프로세스 대리 지표

Gaussian-process surrogate indicators for residual-based adaptive GMsFEM

고대비(high-contrast) 타원형 문제에 대한 잔차 기반 적응형 GMsFEM은 모든 coarse 이웃에서 국소 가중 $H^{-1}$ 지표를 반복적으로 평가하므로, 반복 쿼리(repeated-query) 설정에서 지표 평가가 반복되는 비용이 된다. D\"orfler marking에 사용되는 지표 점수에 대해 비침투적(non-intrusive) 가우시안 프로세스(GP) 대리 모형을 도입한다. 운영 예측량은 GP 사후 평균이며, 명시된 규약 하에서 커널 릿지 회귀(KRR) 추정량과 대수적으로 동등하다; 다중스케일 해법, 국소 스펙트럼 구성, 또는 기저 enrichment를 바꾸지 않고 압축된 국소 해와 스펙트럼 특징을 사용한다. 비균일 perturbed-marking 결과는 점별 점수 오차가 대리 모형이 선택한 이웃이 포착하는 정확한 지표 질량(indicator mass)에 미치는 영향을 정량화하고, 조건부 bounded-discrepancy KRR 경로는 이러한 점수 경계에 대한 충분한 가정을 밝힌다. 통제된 held-out in-distribution 테스트에서, 대리 모형이 안내하는 방법은 고전적 $H^{-1}$-잔차 오프라인 적응성과 비교 가능한 오차 대 자유도(DoF) 추세를 보이며, 오프라인 데이터 생성 및 GP 학습을 제외하면 온라인 지표 구성 요소 평가가 2.0–2.1배 빠르다.

arXiv:2609.28116v1cs.LG공통 태그 Uncertainty Quantification, Computational Efficiency

스크레이프오프 층(Scrape Off Layer) 플라즈마 시뮬레이션을 위한 확률적·기하 인지 신경망 대리 모델

Probabilistic and Geometry Aware Neural Surrogate of Scrape Off Layer Plasma Simulations

토카막 경계 플라즈마 시뮬레이션을 위한 고속 대리 모델(surrogate)은 일반적으로 전역 운전점(operating point)을 셀 값들의 평탄화된 벡터로 매핑하는 결정론적 회귀기이다. 디버터 탈부착(divertor detachment) 전이 근처에서는 정상 상태(steady state)가 단일 값으로 안정적으로 정해지지 않는다. 점 추정(point estimate)은 질적으로 서로 다른 플라즈마 상태들에 걸쳐 평균을 내야 하며, 신뢰도에 대한 어떠한 언급도 없이 결과를 내놓는다. 더욱이 평탄화된 벡터 표현은 SOLPS-ITER 메시의 기하학적 구조를 버린다. 본 연구는 이 두 가지 문제를 모두 다룬다. 우리는 곡선형(curvilinear) 메시를 셀 인접성을 보존하고 정확히 역변환되는 배치를 가진 세 개의 고정 크기 이미지 텐서로 펼쳐, 합성곱 신경망(convolutional network)이 정보 손실 없이 기하 구조 위에서 동작할 수 있도록 한다. 이후 민감도가 높은 시스템에 적합한 조건부 플로 매칭(conditional flow matching) 모델을 이 표현 위에서 학습한다. 그 결과 민감한 운전점에서도 여러 개의 그럴듯한 결과를 포착하는 효율적이고 확장 가능한 대리 모델을 얻는다. 가스 퍼프(gas-puff) 스캔을 따라, 예측 분포는 초기 레짐 전이(regime transition)를 지나면서 고온 모드와 저온 모드로 갈라진다. 크기가 알려진 분기(bifurcation)를 주입한 합성 데이터에 대한 추가 검증에서도, 모델이 두 분기의 평균이 아니라 두 분기를 각각 복원함을 확인한다.

arXiv:2609.28425v1quant-ph공통 태그 Uncertainty Quantification, Computational Efficiency

머신러닝을 활용한 재귀적 상태 추정에서 근사 솔버의 수리 가능성

Repairability of Inexact Solvers in Recursive State Estimation with Machine Learning

재귀적 상태 추정은 종종 피드백 루프 안에서 근사적인 수치 해를 실행하며, 국소적으로 매우 정확한 단계가 전체적으로 더 나은 결과를 보장하지는 않는다. 고정된 선형 Kalman 모델에 대해, 규정된 부분공간과 노름 예산 내 보정이 국소 허용 가능성 허용 오차를 충족할 수 있는 조건을 특성화하고, 실제로 실행된 결함이 유한 구간 공분산 응답에 미치는 영향을 분석한다. 구현된 공분산에 대한 정확한 이득(gain)을 중심으로 각 결함을 두면 현재 솔브 오류와 상속된 이득 드리프트를 분리할 수 있다. 정확한 잔차-드리프트 항등식을 전개하면 2차 응답을 넘어 상반되는 4차 기여가 드러난다. 혁신(innovation) 공분산 팽창은 양의 방향으로, 국소 이득 재최적화는 음의 방향으로 작용한다. 일치하는 초기화 하에서, 고정 구간에서 유계 결함 열에 대해 균일한 절대 6차 나머지 상한은 2차 과소 또는 과대 예측에 대한 충분 조건을 제공한다. 머신러닝은 유계 보정을 제안하고, 학습기에 독립적인 잔차 증명서(residual certificate)와 검증된 폴백(fallback)이 기준 추정기를 바꾸지 않은 채 고전 및 양자 후보의 실행을 관장한다. 전력망 허용 오차 연구에서, 학습된 보정은 동일한 잔차 증명서 하에서 보정되지 않은 솔브에 비해 폴백 없이 배포할 때 최소 �共轭梯度(conjugate-gradient) 반복 횟수를 낮춘다. 변분 양자 선형 솔버와 어닐링 기반 이진 인코딩으로 재구성된 이득은 초전도 하드웨어上的 소규모 단말 측정과 양자 어닐러(quantum annealer)上的 샘pling을 거쳐 동일한 인터페이스로 실행된다. 국소 수리 가능성을 비선형 오류 전파와 연결함으로써, 이 프레임워크는 독립적 인증과 유한 구간 응답을 통해 근사 솔버와 학습된 보정을 평가하며, 하이브리드 양자-고전 계산 연구를 위한 실용적 토대를 제공한다.

arXiv:2609.27208v1cs.CV공통 태그 Uncertainty Quantification, Computational Efficiency

비용 효율적 공간 전사체학을 위한 능동적 스팟 선택 벤치마킹

Benchmarking Active Spot Selection for Cost-Efficient Spatial Transcriptomics

공간 전사체학(spatial transcriptomics, ST)은 조직 맥락에서 유전자 발현을 측정하지만, 촘촘한 캡처 그리드는 비용이 많이 들 수 있으며 형태학적으로 유사한 영역을 반복적으로 샘플링할 수 있다. 대부분의 능동 학습(active learning) 전략은 범주형 레이블과 독립 표본을 위해 개발되었다. 우리는 발현 벡터가 고차원·연속이고 후보들이 공간적으로 상관된 ST에서, 균일 Random 샘플링 대비 능동 학습에 대한 후향적 pool 기반 벤치마크를 수행한다. 완전 프로파일링된 공개 ST 코호트 두 개를 사용해 후보 발현 벡터를 마스킹하고, 불확실성 기반 Monte Carlo 드롭아웃(MC-dropout) 및 temporal output discrepancy(TOD), 다양성 기반 CoreSet 및 TypiClust 영감 선택으로 다회차 선택을 시뮬레이션한다. 환자 수준 교차 검증 하에서 fold 전체 학습 spot 풀의 5%, 10%, 30%, 50%에서 160개의 완료된 구성을 비교하며, 별도의 전체 레이블 기준(reference)을 둔다. 각 예산 내에서 전략들은 선택 일정, 형태-발현 예측기, 최적화 프로토콜을 공유한다. 슬라이드 내 유전자별 평균 Pearson 상관계수(PCC), 발현 클러스터 일치, Moran's I 충실도를 평가한다. HER2 양성 유방암에서 네 가지 능동 전략의 Random 대비 pooled mean PCC 차이는 5%, 10%, 30%, 50%에서 각각 -0.0176, -0.0117, +0.0056, +0.0057이었다. 피부 편평세포암(cutaneous squamous cell carcinoma, cSCC)에서는 5%에서 세 전략이 Random보다 낮았고, 10%에서는 네 전략 모두 Random보다 낮았다. HER2 양성 유방암에서 CoreSet과 MC-dropout은 가장 작은 두 예산에서 Random보다 PCC는 낮지만 발현 클러스터 일치는 더 높았으며, 이 패턴은 cSCC에서는 재현되지 않았다. 보고된 고정 학습 horizon 하에서, 평가된 능동 전략들은 작은 예산에서 Random을 일관되게 개선하지 않으며, 순위는 평가 지표에 따라 달라진다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.