arXiv:2606.25743v1 cs.LG

Black-Box Assisted Regression: Phase Transitions and Minimax Optimality

Yan Zhou

제출 2026-06-24

원문 초록

Foundation models are often used as fixed black-box predictors for downstream tasks with limited labeled data, but their predictions may be biased and unsafe to trust blindly. We study this setting through black-box assisted nonparametric regression: a learner observes labeled samples and can query a fixed predictor $f_0$, while the target $f^*$ is close to $f_0$ in $L_2(P_X)$ up to an unknown radius $δ$. We give a finite-sample minimax characterization showing a phase transition at $δ_c(n) \asymp n^{-β/(2β+d)}$, with leading risk $\min\{δ^2, n^{-2β/(2β+d)}\}$. We then analyze a Safe Residual Estimator: it learns a correction around $f_0$, initializes the residual head at zero so the initial predictor equals $f_0$, and uses holdout selection to revert to $f_0$ when the learned correction is not supported by validation data. Here, "safe" means avoiding negative transfer, i.e., performing worse than the black-box predictor alone. The estimator matches the leading minimax term up to an additive validation-selection cost. Synthetic regression experiments verify the predicted phase transition, while CIFAR-100 with CLIP and AG News with Qwen3-8B provide practice-facing evidence that the same residual-correction tradeoff is useful beyond the formal squared-loss regression setting.

요약

고정된 블랙박스 예측기와 소량 라벨로 다운스트림 회귀를 학습할 때, 목표 함수와의 L_2 거리 δ에 따라 상위 리스크 min{δ², n^{-2β/(2β+d)}}에서 위상 전이(phase transition)가 일어난다는 유한 표본 최소최대(minimax) 특성을 제시한다. Safe Residual Estimator는 f_0 주변 잔차 보정을 학습하고 검증 손실로 보정 채택 여부를 선택해 negative transfer 없이 최소최대 상한을 거의 달성하며, 합성 데이터와 CLIP(CIFAR-100), Qwen3-8B(AG News) 실험으로 이를 확인한다.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.25743v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.27280v1stat.ML공통 태그 regression, Model Selection, parameter estimation

쌍별 융합 멀티태스크 회귀

Multitask Regression with Pairwise Fusion

예측변수마다 계수 공유 방식이 달라질 수 있는 멀티태스크 회귀를 연구한다. 주어진 예측변수에 대해 많은 과제는 동일한 계수를 갖고 일부만 다를 수 있으며, 예외가 되는 과제는 다른 예측변수에서 반드시 같을 필요는 없다. 이 구조는 활성 예측변수의 수와, 각 예측변수에서 가장 흔한 값과 다른 과제 계수의 총 개수라는 두 양으로 기술한다. 계수 행렬은 과제 전반에 걸친 모든 쌍별 계수 차이에 페널티를 두어 추정하고, 예측변수 선택이 필요한 경우 추가 그룹 페널티를 부과한다. 도출된 상한과 하한은 이 두 양에 대해 동일한 의존성을 갖는다. 또한 많은 과제 집합이 하나의 전체 계수 벡터를 공유하는 더 강한 설정도 고려한다. 명시적인 표본 크기 조건 하에서, 동일한 쌍별 추정량은 해당 과제들을 정확히 풀링하면서 나머지 과제는 달라질 수 있게 한다. 시뮬레이션과 가구 에너지 데이터는 광범위한 공유와 과제별 계수 사이의 전환을 보여 준다.

arXiv:2610.10931v1cs.LG공통 태그 regression, Model Selection

기호 회귀에서 선택 압력으로서의 계수 보정

Coefficient Calibration as Selection Pressure in Symbolic Regression

밈틱 기호 회귀(memetic symbolic regression)에서는 후보 구조들이 계수 보정(coefficient calibration)을 거친 후 비교되므로, 보정 프로토콜 자체가 진화적 선택에 기여한다. 표준적인 중앙집중식 보정은 각 구조를 풀링된 샘플에서의 최적값으로 평가하며, 이 보정이 공변량 변화(covariate shift)에 대해 얼마나 안정적인지를 고려하지 않기 때문에, 적합이 샘플별 계수에 의존하는 구조를 선호하게 될 수 있다. 우리는 디리클레-싱크혼 상수 평균화(Dirichlet-Sinkhorn Constant Averaging, DSCA)를 제안한다. 이는 최적화 데이터를 서로 다른 공변량 분포를 가진 동일한 크기의 부분집합으로 분할하고, 각 후보를 모든 분할에서 독립적으로 보정한 다음, 그 결과로 얻어진 파라미터들의 평균값에서 평가하는 보정 전략이다. 우리는 올바르게 특정되고 식별 가능한(identifiable) 수식에 대해서는 DSCA의 중앙집중식 보정에 대한 초과 손실이 모집단 수준에서 사라지는 반면, 모형이 잘못 특정된(misspecified) 경우에는 분할별 보정이 풀링된 최적값으로 수렴하지 않을 때 이 초과 손실이 지속됨을 보인다. 합성 벤치마크와 10개의 실세계 데이터셋에서, DSCA는 음의 로그가능도(negative log-likelihood)와 아카이케 정보기준(Akaike information criterion) 및 베이즈 정보기준(Bayesian information criterion)에 의한 선택 하에서, 중앙집중식 BFGS(Broyden-Fletcher-Goldfarb-Shanno) 및 레벤버그-마쿼트(Levenberg-Marquardt) 보정에 비해 함수 복원(functional recovery)과 정확도-복잡도 트레이드오프(accuracy-complexity trade-off)를 개선한다. 메커니즘 분석은 DSCA의 초과 손실을 일반화 격차(generalization gap)와 연관시키며, 이 효과가 반복적인 중앙집중식 피팅으로는 재현되지 않음을 보여준다. 이러한 결과는 통제된 이형(heterogeneous) 보정이 기호 회귀 탐색에서 보완적인 선택 압력의 원천을 제공함을 시사한다.

arXiv:2610.02610v1cs.LG공통 태그 regression, parameter estimation

Seer: 학습 속도 곡선을 위한 최대가능도 회귀

Seer: Maximum Likelihood Regression for Learning-Speed Curves

본 연구는 머신러닝 성능 모델링에 초점을 맞춥니다. 본 학위논문에서는 분류 학습 성능에 대한 실증적 관측값을 생성한 뒤, 이를 활용해 통계 모델을 구축하는 시스템인 Seer를 소개합니다. 구축된 모델은 목표 수준을 달성하는 데 필요한 학습 예제 수와 무제한의 학습 예제가 주어졌을 때 달성 가능한 최대 정확도를 예측하는 데 활용할 수 있습니다. Seer는 1) 분류 학습을 위한 최적의 제약 조건과 가장 유용한 파라미터를 구현한 모델, 2) 최대가능도(maximum-likelihood) 모델을 효율적으로 찾는 알고리즘, 3) 세 가지 실제 도메인 데이터를 통해 이러한 모델링의 실용적인 적용 가능성을 입증함으로써 기존 기술을 발전시킵니다. 논문의 전반부에서는 분류 학습 성능에 대한 우수한 최대가능도 모델이 갖추어야 할 요건을 개괄합니다. 이어서 이러한 모델에 적합한 설계 선택지를 탐색합니다. 이러한 모델 간의 선택은 비선형 프로그래밍(nonlinear programming) 문제이지만, 적절한 문제 제약 조건을 활용함으로써 효율적인 반복 알고리즘으로 해결할 수 있는 비선형 회귀(nonlinear regression) 문제로 단순화됩니다. 논문의 후반부에서는 대두 질병, 심장병, 청각 이상 도메인에서 수행된 약 100건의 실험을 설명합니다. 테스트 결과 Seer가 학습 성능을 규명하는 데 매우 뛰어나며, 학습 성능 예측에서도 가능한 최고 수준의 성능을 보이는 것으로 나타났습니다. 마지막으로 특정 상황에 적합한 회귀 모델 선택을 위한 권장 사항을 제시하고 향후 연구 방향을 명시합니다.

arXiv:2610.02494v1cs.CV공통 태그 regression, Transfer Learning

DeepStratNet: 희소한 레이블 환경에서 지진파 지층면 추적을 위한 문맥 인식 좌표 회귀 프레임워크

DeepStratNet: A Context-Aware Coordinate Regression Framework for Seismic Horizon Tracking under Sparse Labels

자동 지층면 추적(horizon tracking)은 3D 지진파 해석의 기초적인 작업입니다. 대부분의 기존 심층 학습(deep learning) 접근 방식은 주로 U-Net 기반 아키텍처를 사용하여 이를 조밀한 시맨틱 세그멘테이션(dense semantic segmentation) 문제로 공식화합니다. 이러한 모델은 정밀한 지층면 좌표를 추출하기 위해 후처리가 필요한 모든 픽셀에 대한 확률 맵을 생성하며, 시간/심도에서의 지층면 픽(horizon pick)은 학습(training)을 위해 조밀한 마스크로 변환되어야 합니다. 결과적으로 픽되지 않은 지진파 트레이스는 배경으로 처리되어 수렴(convergence)을 저해할 수 있으며, 전처리 및 후처리 과정 모두 최종 해석에 오차를 유발할 수 있습니다. 더욱이 2D 세그멘테이션 모델은 본질적으로 슬라이스 간 문맥을 포착하지 못하며, 3D 모델은 종종 연산 비용이 과도하게 듭니다. 대신 본 연구에서는 지층면 추적을 경계가 지정된 좌표 회귀(coordinate regression) 문제로 공식화하여, 모델이 각 횡방향 위치에서 목표 지층면의 시간/심도 좌표를 직접 예측하도록 합니다. 우리는 사전학습된 모든 비전 백본과 호환되는 경량 회귀 헤드를 제안하며, 슬라이스 간 문맥을 모델링하고 볼륨 전반에 걸쳐 연속적인 지층면 표면을 생성하기 위해 LSTM 모듈과 결합합니다. L1 및 L2 손실의 조합은 유효한 지층면 픽에서의 예측을 지도하며, 지질학적 정보를 반영한 정규화(regularization)는 연속적인 트레이스 간의 횡방향 연속성을 강화합니다. 통제된 실험 조건 하에서 뉴질랜드의 지진파 볼륨을 대상으로 세그멘테이션 및 회귀 구성 모두에서 네 가지 사전학습된 비전 백본을 평가합니다. 제안된 접근 방식은 RMSE 및 PCC를 포함한 지표를 사용한 정량적 평가와 정성적 평가 모두에서 세그멘테이션 기반 방식보다 지속적으로 우수한 성능을 보였으며, 학습 픽의 희소성(sparsity)이 증가함에도 더 높은 견고성을 입증했습니다. 마지막으로, 연속적인 트레이스 전반에 걸친 예측 편차가 지질학적 복잡성의 국소적 변화를 포착함으로써 후속 지진파 해석을 위한 자동화된 품질 관리 척도를 제공함을 보입니다.

arXiv:2609.26624v2stat.ML공통 태그 regression, Model Selection

희소 가우시안 프로세스 회귀에서의 기저 함수 선택

On Basis Function Selection for Sparse Gaussian Process Regression

희소 가우시안 프로세스는 입력 공간 상의 고정 기저 $\{\phi_j\}$로의 적절한 전개로 커널을 대체함으로써 $O(N)$ 추론을 달성한다. 계산 예산 $M \ll N$이 주어지면, 실무자들은 관례적으로 기저를 처음 $M$개 항으로 잘라(truncate) 사용한다. 그러나 형식적 프레임워크상 데이터에 실제로 중요한 $M$개의 기저 함수만 선택하는 것을 막을 수는 없다. 이렇게 하면 신호가 없는 기저 함수에 예산을 쓰는 것을 피할 수 있지만, 후보를 순위 매기기 위한 기준이 필요하다. 우리는 기저 함수 선택 문제에 대한 정보 이론적 관점에서 도출한 세 가지 기준을 제안한다. 각 기준은 선택 시점의 서로 다른 지식 상태에 대응한다: 무-데이터(no-data) 상태, 무-사전(no-prior) 상태, 그리고 그 중간(in-between) 상태. 그런 다음 세 가지 기저 계열—Hilbert 공간 가우시안 프로세스(HSGP), 변분 푸리에 특징(VFF), 변분 inducing 구면 조화(VISH)—에 대해 여섯 개의 UCI 회귀 벤치마크에서 절단(truncation) 대비 선택(selection) 전략의 성능을 연구한다. 우리는 무-데이터 기준이 안전한 기본값이며, HSGP, VFF, VISH에 대해 절단과 동등하거나 더 나은 성능을 보이고, VISH에서는 상당한 이득을, 해당 기저 계열에 대해 최근 개발된 선택 휴리스틱 대비 개선을 보인다고 관찰한다. 데이터를 고려한 무-사전 및 중간 기준은 세 계열 중 실무에서 가장 널리 쓰이는 HSGP에 대해 절단 대비 상당한 이득을 제공한다.

arXiv:2609.27256v1stat.ME공통 태그 regression, Model Selection

조건부 공분산 순서화를 통한 함수적 인과 발견

Functional Causal Discovery via Conditional Covariance Ordering

본 연구는 각 노드가 확률 함수인 설정에서의 인과 발견을 다룬다. 이 주제에 대한 기존 연구는 선형성 또는 비선형성과 같은 구조적 가정, 가우스성 또는 비가우스성과 같은 분포 가정에 의존한다. 이와 달리 우리는 이러한 가정을 피하기 위해 공분산 연산자(covariance operator)를 활용한다. 함수적 가산 노이즈 모델(functional additive noise model) 하에서, 조건부 공분산 연산자의 노름(norm)을 비교하는 것에 기반하여 유효한 위상 순서(topological ordering)를 식별하기 위한 새로운 충분 조건을 제안한다. 이 식별 가능성(identifiability) 조건을 활용하여, 선형 및 비선형 모델을 포괄하는 새로운 혼합 회귀 모델을 개발한다. 변수 선택과 함께, 우리의 절차는 함수 변수(functional variable)에 대한 인과 방향성 비순환 그래프(DAG)의 추정을 산출한다. 이론적으로, 이 회귀 모델에 대한 최소자승(least-squares) 유형 이론을 개발하고, 순서 결정(order determination), 희소 회귀(sparse regression), DAG 식별에 대한 점근적 일치성(asymptotic consistency)을 도출한다. 이산 관측(discrete observation)에 기반한 계산 알고리즘을 제공한다. 시뮬레이션 데이터에 적용했을 때, 우리의 접근법은 기존 방법들 가운데 만족스러운 성능을 보인다. 뇌 유효 연결성(brain effective connectivity)에 대한 실제 데이터 예제도 제시한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.