arXiv:2609.28122v1 stat.ML

NPBoost: 그래디언트 부스팅 고정 효과를 갖는 Neural Process

NPBoost: Neural Processes with Gradient-Boosted Fixed Effects

Andrea Nava, Ken R\"olli, Armin Begic, Fabio Sigrist

제출 2026-09-24

한국어 초록

Neural Process(NP)는 모델 기반 메타러너로, 확률적 과정(stochastic process)을 암묵적으로 학습하고 작은 컨텍스트 집합으로부터 새 과제에 적응한다. NP의 대부분 확장은 신경망 아키텍처 개선에 초점을 맞춘다. 우리는 대신 메타학습과 혼합효과(mixed-effects) 모델이 공유하는 계층적 해석에서 동기를 받은 확장을 개발한다. 구체적으로 Neural Process Boosting(NPBoost)을 제안하며, 구조화된 반응 변동성을 과제 간 공유되는 트리 부스팅 고정 효과와 과제 간 확률적 변동을 포착하는 NP 임의 효과로 분해한다. 부스팅 알고리즘으로 두 구성요소를 공동 학습하도록 하며, 이 과정에서 NP는 잔차적인 과제별 구조를 학습하고 트리 앙상블은 과제 간 공통 패턴을 추정한다. 합성 및 실제 표 형식(tabular) 메타학습 문제 전반에서, 공유 구조에 불연속성이나 부스팅된 트리가 효과적으로 표현할 수 있는 기타 불규칙 패턴이 있을 때 이 분해는 표준 NP보다 성능이 개선된다.

원문 초록

Neural Processes (NPs) are model-based meta-learners that implicitly learn a stochastic process and adapt to a new task from a small context set. Most extensions of NPs focus on improving the neural network architecture. We instead develop an extension motivated by the shared hierarchical interpretation of meta-learning and mixed-effects models. Specifically, we introduce Neural Process Boosting (NPBoost), which decomposes structured response variability into tree-boosted fixed effects shared across tasks and NP random effects that capture stochastic task-to-task variation. We propose to train the two components jointly using a boosting algorithm in which an NP learns residual task-specific structure and a tree ensemble estimates common patterns across tasks. Across synthetic and real-world tabular meta-learning problems, this decomposition improves over a standard NP when the shared structure contains discontinuities or other irregular patterns that boosted trees can represent effectively.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2609.28122v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.27710v3cs.CV공통 태그 Ensemble Learning, Few-Shot Learning

FFM-CP: 퓨샷 계산병리학을 위한 비전-언어 기반 모델의 교차 백본 융합

FFM-CP: Cross-Backbone Fusion of Vision-Language Foundation Models for Few-Shot Computational Pathology

병리학 비전-언어 기반 모델은 질환과 과제에 따라 성능이 달라지며, 어떤 단일 모델도 일관되게 최고 성능을 내지 못한다. 전문가 병리 주석의 높은 비용은 과제별 적응에 사용할 수 있는 라벨 데이터를 제한하기도 한다. 상호 보완적인 사전학습 표현을 결합하는 것은 이러한 한계에 대한 잠재적 접근이지만, 소수의 라벨 예시로부터 효과적인 융합을 학습하는 것은 여전히 어렵다. 본 연구는 퓨샷 학습 설정에서 여러 병리학 비전-언어 모델을 결합하는 프레임워크인 Few-shot Fusion Foundation Models of Computational Pathology(FFM-CP)를 제안한다. 이 프레임워크는 먼저 대응하는 서포트 이미지로부터 추정한 폐형식(closed-form) 직교 프로크루스테스(Orthogonal Procrustes) 변환을 사용하여 이질적인 표현을 정렬한다. 이 정렬은 추가 정렬 네트워크를 학습하지 않고도 모델 내부 특징 기하를 보존한다. 정렬된 공간 안에서 통합 그래프는 서포트 이미지 특징과 시각·텍스트 클래스 프로토타입을 공동으로 정제함으로써 백본 간 정보 교환을 가능하게 한다. 이렇게 정제된 표현은 의미적 클래스 지식과 클래스 내 시각적 변이를 각각 포착하는 상호 보완적인 텍스트-프로토타입 분기와 케이스 검색(case-retrieval) 분기를 지원한다. 각 분기는 모든 순서화된 백본 쌍의 예측을 결합하는 방법을 학습하여, 한 모델로 인코딩된 쿼리가 다른 모델이 표현한 증거를 활용할 수 있게 한다. 우리는 6개의 조직병리학 데이터셋에서 클래스당 4, 8, 16샷 조건으로 3가지 백본 조합을 평가했다. FFM-CP는 54번 비교 중 50번에서 각 융합 집합의 개별 적응 멤버 중 가장 강한 모델보다 더 높은 평균 macro-F1을 달성했다. 이러한 결과는 주석이 제한될 때 상호 보완적인 사전학습 표현의 결합이 조직병리학 분류를 개선할 수 있음을 시사한다.

arXiv:2607.17508v3cs.LG공통 태그 Meta-Learning, Few-Shot Learning

검색-증강 해석 가능 학습: 헬스케어 분야의 태스크별 제로샷 모델을 향하여

Retrieval-Augmented Interpretable Learning: Towards Task-Specific Zero-Shot Models in Healthcare

본 논문에서는 자연어 태스크 설명과 이전에 학습된 태스크별 예측기 메모리로부터 계수 공간 구조를 합성하여 태스크별 해석 가능 모델을 제로샷(zero-shot)으로 생성하는 확률론적 메타러닝 프레임워크인 검색-증강 해석 가능 학습(Retrieval-Augmented Interpretable Learning, RAIL)을 소개합니다. RAIL은 관련된 소스 태스크를 검색하고, 계수 공간을 통해 구조를 전이하며, 원래의 진단 특징(feature) 공간에서 새로운 예측기를 생성함으로써 특징 수준의 설명과 함께 제로샷 및 퓨샷(few-shot) 임상 시술 예측을 가능하게 합니다. 이러한 확률론적 정식화는 검색, 모델 계수, 예측 전반에 걸친 불확실성을 제공하여 불확실성을 인식하는 배포를 지원합니다. 즉, 불확실한 예측이나 불안정한 설명은 자동 결정으로 처리되는 대신 추가적인 임상 검토를 거치도록 플래그를 지정할 수 있습니다. 이는 예측 태스크가 심각하게 롱테일(long-tailed) 특성을 띠고, 새로운 임상 목표가 빈번하게 발생하며, 모델이 검토 가능하고 불확실성을 인지하며 인간의 감독과 호환되어야 하는 헬스케어 환경에 RAIL을 특히 적합하게 만듭니다. 롱테일 임상 시술 예측 태스크 전반에 걸쳐 RAIL은 데이터가 부족한 환경에서의 모델 생성을 개선하고, 임상 정보를 반영한 태스크 표현의 이점을 활용하며, 모델 동작을 더욱 투명하게 만드는 검색, 불확실성, 계수 수준의 진단을 제공합니다. 이러한 결과는 해석 가능성과 신뢰성을 유지하면서 새로운 태스크에 적응할 수 있는 확장 가능한 임상 예측 시스템을 향한 방향을 제시합니다.

arXiv:2609.34577v2cs.AI공통 태그 Ensemble Learning, Gaussian Processes

수중 환경 모니터링에서의 정보 경로 계획을 위한 보정된 불확실성

Calibrated Uncertainty for Informative Path Planning in Aquatic Environmental Monitoring

스칼라장(scalar field) 재구성을 위한 정보 경로 계획(Informative Path Planning)은 예측 불확실성을 활용해 센싱 비히클을 정보량이 최대인 위치로 안내합니다. 가우시안 프로세스(Gaussian Process)가 이러한 신호를 제공하지만, 정상 등방성 커널(stationary isotropic kernel)은 기름 유출과 같은 비균질 현상에 대해 잘못 지정되어 불확실성 추정의 보정 실패(miscalibration)를 야기하고 경로 계획 성능을 저하시킵니다. 본 연구에서는 가우시안 프로세스를 잘 보정된 딥 앙상블(Deep Ensemble)로 대체할 때 경로 계획 결과가 향상되는지, 그리고 불확실성의 품질이 계획 알고리즘 선택과 어떻게 상호작용하는지 조사합니다. 5가지 전략(ε-Greedy, Value Greedy, Uncertainty Greedy, 몬테카를로 트리 탐색(MCTS), Receding Horizon Orienteering)은 물리 기반 기름 유출 시뮬레이션으로 학습된 공통 딥 앙상블 백본을 공유합니다. 미공개 확률적 유출 시나리오에서 딥 앙상블은 가우시안 프로세스 기준선(baseline) 대비 정규화된 재구성 오차를 83% 줄였습니다. 결정적으로, 잘 보정된 불확실성은 계획 전략의 중요성을 증폭시킵니다. 잘못 보정된 모델에서는 알고리즘 간의 성능 차이가 미미하지만, 앙상블 환경에서는 다단계 사전 예측(multi-step lookahead) 계획기가 탐욕적(greedy) 선택보다 재구성 오차를 최대 32% 개선하고 0.85 이상의 IoU를 달성하는 등 그 차이가 현저해집니다. 몬테카를로 트리 탐색은 한 자릿수 이상 낮은 연산 비용으로 Orienteering과 대등한 재구성 품질을 보여 권장되는 계획기로 제시됩니다.

arXiv:2609.27930v1stat.ME공통 태그 Ensemble Learning, Gaussian Processes

가우시안 프로세스 분할을 갖는 트리의 디리클레 프로세스 혼합: 사후 수축률을 갖춘 베이지안 비모수 프레임워크

Dirichlet Process Mixtures of Trees with Gaussian Process Splits: A Bayesian Nonparametric Framework with Posterior Contraction Rate

우리는 트리-매개변수 쌍에 대해 디리클레 프로세스(Dirichlet process) 사전분포를 두는 회귀 트리의 베이지안 비모수 혼합 모델을 제안한다. 이 모델은 데이터 기반으로 앙상블 크기를 선택할 수 있게 하며, CART, BART, 랜덤 포레스트, 부스팅을 하나로 통합한다. 각 종단 노드 내 가우시안 프로세스(GP)의 사후 예측분포에 기반한 새로운 분할 규칙은 유연하고 매끄러운 결정 경계를 생성한다. 주목할 만하게도, GROW/PRUNE 이동에 대한 Metropolis–Hastings 비율에서 GP 밀도가 정확히 상쇄되어 계산적 실현 가능성이 보장된다. 사후 예측 추론을 위한 정확한 깁스 샘플러(Gibbs sampler)는 무작위 트리 순회를 통해 불확실성을 전파한다. 병렬 MPI 구현은 독립적인 트리 업데이트를 여러 프로세서에 분산하여 적정 수준의 속도 향상을 달성한다. 우리는 항등식 $h(\Theta)=0$을 통해, 참 회귀 함수의 연속성만을 가정하고 모형 오지정(misspecification)을 허용하면서 헬링거(Hellinger) 거리에서 $n^{-1/4}$ 속도의 사후 일치성을 증명한다. Friedman 벤치마크에서의 시뮬레이션은 거의 명목 수준에 가까운 커버리지(가우시안 0.94, 코시 0.92)를 보였으며, 고차원 노이즈와 두꺼운 꼬리 분포에도 강건했고 BART와 배깅된 CART보다 우수한 성능을 보였다. QSAR 독성, 범죄, 리보플라빈, 밀 유전체학, 대기질 데이터에 대한 적용은 신뢰할 수 있는 신용구간과 자동 희소성을 확인해 준다. 이 DP 혼합 모델은 정직한 불확실성 정량화를 갖춘 도전적인 회귀 문제에 대해 원리에 기반하고 강건하며 이론적으로 뒷받침되는 대안을 제공한다.

arXiv:2608.14824v2eess.AS공통 태그 Meta-Learning, Few-Shot Learning

코끼리 발성 분류를 위한 매개변수 없는 퓨샷 평가

A Parameter-Free Few-Shot Evaluation for Elephant Vocalisation Classification

우리는 Elephant Voices(EV) 및 Linguistic Data Consortium(LDC) 데이터셋에서 고정된 사전학습 임베딩 위의 코끼리 발성에 대한 최근접 중심(centroid) 분류의 매개변수 없는 에피소드 평가를 제시한다. 우리가 묻는 것은 모든 라벨 데이터로 학습한 분류기에 어떤 임베딩이 최적인지가 아니라, 클래스당 예시(exemplar) 수가 달라질 때 가장 단순한 분류기가 어떻게 수행되는지이다. 각 클래스는 지원(support) 임베딩의 평균으로 모델링되고 각 쿼리는 제곱 유클리드 거리 하에서 가장 가까운 중심에 할당되므로 학습 가능한 매개변수는 없다. 평가는 mel frequency cepstral coefficient(MFCC) 특징과 함께 고정된 Perch(ver. 1), Perch(ver. 2), HuBERT(base, layer 2) 임베딩을 대상으로 하며, 학습된 분류기와 동일한 계층화 $K$-fold 교차 검증(validation) 프로토콜 하에서 $N$-way $k$-shot으로 수행한다. 이 임베딩 모델들 중 어느 것도 코끼리 울음 유형을 구별하도록 학습되지는 않았다. 더 작은 EV 데이터셋에서는 중심 분류기가 뚜렷이 데이터 효율적이다. Perch(ver. 1) 또는 Perch(ver. 2) 임베딩을 사용하면 평균 정밀도(mAP)에서 예시 한두 개부터 전 데이터로 학습한 로지스틱 회귀(LR) 기준선(baseline)을, 예시 두 개부터 순환(recurrent) 기준선을 추월한다. 강한 지도 end-to-end 기준선이 학습된 축소된 울음 유형 집합에서도 Perch(ver. 2) 임베딩을 쓰는 중심 분류기는 예시 두 개부터 mAP에서 해당 기준선을 역시 추월한다. 더 큰 LDC 데이터셋에서는 순환 기준선이 고려한 모든 $k$ 값에 대해 우위를 유지한다. LR만이 추월되며, 그것도 mAP에서만이다. 따라서 최근접 중심 분류는 예시가 적고 고정 임베딩이 이미 울음 유형을 분리할 때 바로 그때 선호된다.

arXiv:2609.26905v1cs.LG공통 태그 Meta-Learning, Ensemble Learning

CORE-STACK+: 심층 스택 일반화를 위한 메타 학습

CORE-STACK+: Meta-Learning for Deep Stacked Generalization

이질적인 비전 백본(CNN, ViT, 하이브리드)을 스택하는 것은 정확도, 보정(calibration), 견고성을 위한 사실상의 표준이지만, 서로 맞물린 두 가지 병리가 그 이득을 제한한다. 예측 공간 다중공선성(prediction-space multicollinearity)은 메타 학습기의 Gram 행렬 조건을 악화시켜 가중치 분산을 키우고, 얇은 매니폴드 위에서 취약한 해법을 만든다. 보정 붕괴(calibration collapse)는 단순 선형 스택을 통해 구성 모델의 miscalibration을 누적 증폭하므로, 모델을 더 추가하면 기대 보정 오차(ECE)가 나빠질 수 있다. 기존 대안인 릿지 정규화, 탐욕적 선택, model soups, SWAG는 이 문제들 중 최대 하나만 다루며, 이질적 예측 풀에서 conditioning과 calibration을 동시에 겨냥하는 방법은 없다. 우리는 CORE-STACK+를 제안한다. 네 가지 구성 요소를 갖는 사전조건화(preconditioning) 파이프라인으로, (i) Pearson 상관으로는 보이지 않는 비선형 모델 간 의존을 제거하는 커널화 중복 필터(Centered Kernel Alignment, CKA [23] 사용), (ii) 앙상블 통계에 대한 샘플별 어텐션을 학습하는 1.5만 미만 매개변수의 미분 가능 메타-특징 게이트, (iii) Marchenko-Pastur 신호-잡음 분해에서 유도한 스펙트럼 적응형 Ridge 페널티 $\lambda^{\star}=lmax(\hat{C})/\mathrm{SNR}(\hat{C})$로 중첩 교차 검증을 제거, (iv) inverse-RMSE 휴리스틱을 대체하는 Laplace 근사 베이지안 블렌더이다. 우리는 예측 공간 중복과 메타 학습기 용량을 처음으로 공동 반영하는 PAC-Bayes 초과 위험(excess-risk) 상계를 증명한다. 여섯 벤치마크에서 CORE-STACK+는 ImageNet-1K top-1 +1.8%, ImageNet-C mCE -4.2, ADE20K mIoU +0.9, COCO AP +1.3을 달성하면서 유지 모델 수를 35–57% 줄이고 추론 FLOPs를 최대 41% 감소시킨다. ECE는 사후 온도 스케일링(post hoc temperature scaling) 없이도 깊은 앙상블 대비 2.1배 개선된다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.