arXiv:2606.20538v1 cs.LG

멀티태스크 베이지안 인컨텍스트 학습

Multi-Task Bayesian In-Context Learning

Qingyang Zhu, Eric Karl Oermann, Kyunghyun Cho

제출 2026-06-18

한국어 초록

베이지안 예측 추론은 불확실성 정량화, 데이터 효율성, 그리고 강건한 일반화를 위한 원칙적인 프레임워크를 제공합니다. 그러나 정확한 추론은 종종 계산하기 어렵고, 확장 가능한 근사 방식은 계산 비용이 여전히 높거나 예측 성능을 저하시키는 제한적인 모델링 가정을 필요로 할 수 있습니다. Prior-Data Fitted 및 인컨텍스트(in-context) 모델은 데이터셋을 예측 분포로 직접 매핑하도록 학습함으로써 amortized 대안으로 최근 부상했습니다. 하지만 기존 접근 방식은 학습 사전(prior)의 지원(support)에 강하게 결합되어 있어 테스트 시간에 새로운 사전으로 적응하기 위한 명시적인 메커니즘이 부족하며, 이는 분포 변이(distribution shift) 하에서 제한된 강건성을 초래합니다. 우리는 사전 정보를 인컨텍스트 데이터셋의 접두 문맥(prefix)으로 명시적으로 표현하는 amortized 계층적 베이지안 예측 추론을 위한 멀티태스크 인컨텍스트 학습 프레임워크를 소개합니다. 사전 및 타겟 작업의 시퀀스로 학습된 트랜스포머(transformer)는 사전 분포의 계열(families) 전반에 걸쳐 예측을 적응시키는 것을 학습합니다. 메타 분포 외(out-of-meta-distribution) 사전 및 고차원 잠재 구조를 가진 사전을 포함하여 난이도가 점진적으로 증가하는 평가 모음에서, 우리의 방법은 수십 배 더 빠른 속도로 오라클 베이지안 예측기와 동등한 성능을 보입니다. 우리는 또한 실제 시공간 온도 예측 벤치마크에서 그 실용적 관련성을 입증합니다. 코드는 https://github.com/martianmartina/multi-task-bayesian-icl/ 에서 확인할 수 있습니다.

원문 초록

Bayesian predictive inference provides a principled framework for uncertainty quantification, data efficiency, and robust generalization. However, exact inference is often intractable, and scalable approximations may remain computationally expensive or require restrictive modeling assumptions that degrade predictive performance. Prior-Data Fitted and in-context models have recently emerged as an amortized alternative by learning to map datasets directly to predictive distributions, but existing approaches are tightly coupled to the support of the training prior and lack explicit mechanisms for adapting to new priors at test time, resulting in limited robustness under distribution shift. We introduce a multi-task in-context learning framework for amortized hierarchical Bayesian predictive inference that explicitly represents prior information as a prefix of in-context datasets. A transformer trained on sequences of prior and target tasks learns to adapt its predictions across families of priors. On a suite of evaluations with increasing difficulty, including out-of-meta-distribution priors and priors with high-dimensional latent structures, our method matches oracle Bayesian predictors while being orders of magnitude faster. We further demonstrate its practical relevance on a real-world spatiotemporal temperature prediction benchmark. Code is available at https://github.com/martianmartina/multi-task-bayesian-icl/.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.20538v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.13411v1cs.LG공통 태그 Bayesian Inference, Meta-Learning, In-Context Learning

시스템 식별을 위한 문맥 내 학습: 확률적 정식화, 긴 시퀀스 처리 및 벤치마크 검증

In-Context Learning for System Identification: Probabilistic Formulation, Long-Sequence Handling, and Benchmark Validation

전통적인 시스템 식별(system identification)은 일반적으로 두 단계로 이루어집니다. 먼저 학습(training) 데이터를 처리하여 관심 대상 시스템의 모델을 추정하고, 그 후 해당 모델을 사용하여 새로운 입력 쿼리에 대한 출력을 예측합니다. 이와 대조적으로, 최근의 문맥 내 학습(ICL) 접근 방식은 명시적인 모델 추정을 거치지 않고, 제로샷(zero-shot) 방식으로 학습 데이터와 쿼리 입력으로부터 직접 출력으로 매핑하는 메타 모델을 학습합니다. 이 방식은 대규모 합성 생성 데이터셋에서 오프라인으로 학습된 메타 모델을 활용하여 시스템 식별 알고리즘의 동작을 모사합니다. 본 연구에서는 시스템 식별을 위한 이러한 메타학습(meta-learning) 프레임워크를 세 가지 방향으로 발전시킵니다. 첫째, 트랜스포머(Transformer) 기반 인코더-디코더와 긴 학습 시퀀스 처리에 특화된 메커니즘을 결합하여 긴 시계(horizon)에 걸쳐 보정된(calibrated) 예측을 가능하게 하는 통합 확률적 메타 식별 아키텍처를 개발합니다. 둘째, 사전학습된 메타 모델이 고전적 시스템 식별을 위한 불확실성 인식 합성 데이터 생성기 역할을 수행하여, 실제 데이터가 부족할 때 매개변수 모델(parametric model)을 정규화하는 태스크 맞춤형 데이터를 제공할 수 있음을 보여줍니다. 셋째, 표준 비선형 시스템 식별 벤치마크와 도전적인 OOD(out-of-distribution) 시나리오에서 프레임워크를 체계적으로 평가하여, SOTA(state-of-the-art) 방법들과 견줄 만한 정확도 및 강력한 일반화 성능을 입증하며, 여기에는 입력 전용 적응만으로도 상당한 분포 변화를 처리하기에 충분한 사례들도 포함됩니다.

arXiv:2610.13690v1cs.LG공통 태그 Meta-Learning, In-Context Learning

확산 모델을 위한 트랜스포머 기반 문맥 내 스코어 연산자 학습

Transformer-based In-Context Score Operator Learning for Diffusion Models

확산 모델(Diffusion model)은 일반적으로 단일 목표 분포나 학습(training) 중에 고정된 조건부 변수로 색인화된 분포 계열의 생성 동역학을 학습합니다. 이는 소수의 예제만으로 이전에 보지 못한 새로운 분포에 적응하는 능력을 제한합니다. 본 연구에서는 각 목표 분포를 메타 분포에서 추출된 태스크로 취급하고 추론(inference) 시점에 경험적 문맥 집합(context set)으로 지정하는, 확산 모델을 위한 문맥 내 솔루션 연산자 학습(in-context solution operator learning) 프레임워크를 소개합니다. 제안하는 방법은 문맥 샘플, 노이즈가 추가된 쿼리 포인트, 확산 시간을 태스크 종속적인 스코어로 매핑하는 문맥 내 스코어 연산자를 학습하여, 재학습이나 매개변수(parameter) 업데이트 없이도 보지 못한 태스크에서 역확산 샘플링을 가능하게 합니다. 핵심 관찰 사항은 태스크 종속적 스코어가 가우시안 커널(Gaussian kernel) 조건부 평균 표현을 허용한다는 점입니다. 이의 경험적 Nadaraya--Watson 근사는 우리가 구성한 트랜스포머(transformer) 클래스의 모델을 통해 정확하게 표현될 수 있으며, 이는 제안된 쿼리 종속적 어텐션(attention) 아키텍처에 대한 원리적 토대를 제공합니다. 이 연산자는 여러 태스크 분포에 걸친 분할 상환 노이즈 제거 스코어 매칭(amortized denoising score matching)을 통해 학습됩니다. 또한 문맥 크기, 학습 태스크 수 및 태스크 내 샘플 수, 모델 복잡도, 고유 차원 및 주변 차원의 영향을 정량화하는 일반화 오차 경계를 확립합니다. 수치적으로는 Navier-Stokes, ERA5 기후 데이터, QuickDraw 스케치, Food-101을 포함한 다양한 과학 및 시각 데이터셋에서 본 방법을 평가합니다. 실험 결과는 제안된 방법이 비교적 단순한 태스크 계열에서는 우수한 성능을 보이는 반면, 태스크 복잡도가 증가함에 따라 성능이 저하됨을 보여줌으로써 확산 모델을 위한 문맥 내 학습(ICL)의 가능성과 한계를 모두 보여줍니다.

arXiv:2610.13764v1stat.ML공통 태그 Bayesian Inference, In-Context Learning

사전 데이터 적합 네트워크는 베이지안 추론을 얼마나 잘 상각하는가?

How Well Do Prior-Data Fitted Networks Amortize Bayesian Inference?

사전 데이터 적합 네트워크(PFN)는 합성 사전 분포의 베이지안 사후 예측 분포(PPD)를 근사하도록 학습되지만, 근사 품질에 대한 연구 결과는 놀라울 정도로 부족합니다. 경험적 위험 최소화 관점을 취하여, 본 연구는 PFN의 배포 오차를 사전 분포 오차, 컨텍스트 오차, 상각 오차로 분해하고, 현실적인 사전 분포 하에서 기준 PPD와 비교하여 상각 오차를 측정합니다. 실험 결과, PFN은 대체로 목표 PPD를 매우 잘 복원하는 것으로 나타났습니다. 그럼에도 불구하고, 사전 사전학습 분포 하의 희귀한 설정에서는 모델 크기를 스케일링할 때조차 잔여 상각 오차의 일부가 지속됨을 발견했습니다. 이는 독립적으로 사전학습된 PFN 간의 불일치로 나타나며, 추론 시 예측기에 대한 불확실성을 남깁니다. 이에 대한 해결책으로 여러 유형의 베이지안 모델 평균을 연구하였으며, 이를 통해 이러한 불확실성을 일관되게 줄이고 풀사이즈 TabICLv2 모델에 이르기까지 예측을 개선할 수 있음을 확인했습니다.

arXiv:2610.10832v1cs.LG공통 태그 Meta-Learning, In-Context Learning

MotherTree: 합성 데이터에 대한 메타러닝으로 의사결정나무 학습 개선하기

MotherTree: Meta-learning on synthetic data improves decision tree training

기존의 의사결정나무(decision tree) 알고리즘은 학습 데이터와 독립적으로 감사(audit)하고 전달하고 배포할 수 있는 효과적이고 투명한 모델을 만들어내지만, 새로운 태스크마다 처음부터 다시 학습해야 한다. 반면 표형(tabular) 파운데이션 모델들은 합성 사전 분포(synthetic prior distribution)로부터의 메타러닝이 특히 소규모 샘플 환경에서 이전에 보지 못한 태스크에 대한 강력한 인컨텍스트 예측을 가능하게 함을 보여준다. 그러나 이 접근법은 단독으로 검사할 수 있는 독립형 모델을 만들어내지 못한다. 우리는 의사결정나무 유도(induction)를 메타러닝하는 표형 트랜스포머(transformer)인 MotherTree를 소개한다. 새로운 태스크에 대한 학습 집합이 주어지면, MotherTree는 단 한 번의 순전파(forward pass)로 고전적으로 학습된 나무와 형태상 동등한, 하드(hard)하고 축에 정렬된(axis-aligned) 의사결정나무를 출력한다. MotherTree는 참조 나무를 감독(supervision) 신호로 요구하지 않고 확률적 경사하강법(stochastic gradient descent)을 사용하여 합성 사전 분포에 대해 사전학습된다. 샘플 크기를 통제한 확립된 벤치마크에서, 이 접근법은 재귀적 분할(recursive partitioning), 그래디언트 기반 나무 학습, 전역적으로 최적인 나무, 표형 파운데이션 모델로부터의 증류(distillation) 등 일반적인 알고리즘들로부터 나온 동일 크기의 나무들과 경쟁력이 있다. 특히 MotherTree는 처음부터 하는 그래디언트 기반 학습을 일관되게 개선하며, 강력한 초기화기(initializer) 역할을 한다: 생성된 나무에 대한 태스크별 튜닝은 모든 벤치마크와 샘플 크기에서 이에 대응하는 처음부터 학습하는 학습기(learner)보다 뛰어난 성능을 보인다. 이러한 결과는 메타러닝이 독립형의 작은 의사결정나무 분류기를 학습하는 데 효과적인 귀납적 편향(inductive bias)을 제공할 수 있음을 보여준다.

arXiv:2608.20024v2cs.LG공통 태그 Time Series Forecasting, In-Context Learning

지역난방 네트워크의 제로샷 열부하 예측을 위한 TabPFN-TS 및 Chronos-2의 체계적 평가

Systematic Evaluation of TabPFN-TS and Chronos-2 for Zero-Shot Heat Load Forecasting in District Heating Networks

지역난방 에너지 허브는 효율적인 운영 스케줄링을 위해 신뢰할 수 있는 열부하 예측을 필요로 합니다. 과거 데이터로 학습(training)된 예측 모델(model)은 네트워크가 발전함에 따라 재학습이 필요할 수 있습니다. 따라서 제로샷(zero-shot) 시계열 파운데이션 모델과 문맥 내 예측(in-context forecasting)은 유망한 대안을 제시합니다. 즉, 반복적인 재학습 대신 최근 관측값으로부터 추론(inference) 시점에 적응할 수 있습니다. 본 연구는 독일의 두 지역난방 네트워크에서 확률적 열부하 예측을 위해 TabPFN-TS와 Chronos-2를 체계적으로 평가하고, 이를 학습된 베이스라인들과 비교합니다. 기본 모델이 시계열 데이터가 아닌 합성 표 형식(tabular) 데이터만으로 사전학습(pre-training)된 TabPFN-TS가 복잡한 지역난방 동역학을 포착할 수 있는지 평가합니다. 선정된 운영 주간을 대상으로 공변량 선택, 컨텍스트 길이, 시간 해상도, 예측 구간(forecast horizon)을 분석하고, 선정된 구성을 1년 전체에 걸쳐 평가하며, 네트워크 간 전이(cross-network transfer)를 평가합니다. 주요 벤치마크(benchmark)는 완벽한 기상 예보를 가정하며, 별도의 민감도 분석에서는 사후적 기상 예측을 사용합니다. 12주 롤링 컨텍스트와 외기 온도를 활용한 1시간 단위 24시간 예측이 간결한 구성을 제공하며, 더 긴 컨텍스트 윈도우(context window)가 정확도를 향상시키지는 않습니다. 연간 전체 벤치마크에서 두 시계열 파운데이션 모델(TSFM) 모두 결정론적 정확도에서 학습된 모든 베이스라인을 능가합니다. Chronos-2가 가장 우수한 결정론적 점수를 달성하고 TabPFN-TS가 그 뒤를 바짝 따릅니다. 주요 데이터셋(dataset)에서 두 모델의 CVRMSE 값은 각각 12.48%와 13.07%입니다. Chronos-2는 두 네트워크 모두에서 더 낮은 연속 순위 확률 점수(CRPS)를 달성하며, TabPFN-TS 역시 근접한 성능을 유지합니다. TSFM 기반 다중 해상도 잔차 수정 예측기(Multi-Resolution Residual-Correction Forecaster)는 1시간 단위 기본 예측과 단기 고해상도 수정을 결합합니다. 직접적인 고해상도 예측과 비교했을 때, 이는 12시간 기간 동안의 총 열 수요 및 기록된 예측 시간 전반에서 오차를 전반적으로 줄입니다.

arXiv:2609.28122v1stat.ML공통 태그 Multi-Task Learning, Meta-Learning

NPBoost: 그래디언트 부스팅 고정 효과를 갖는 Neural Process

NPBoost: Neural Processes with Gradient-Boosted Fixed Effects

Neural Process(NP)는 모델 기반 메타러너로, 확률적 과정(stochastic process)을 암묵적으로 학습하고 작은 컨텍스트 집합으로부터 새 과제에 적응한다. NP의 대부분 확장은 신경망 아키텍처 개선에 초점을 맞춘다. 우리는 대신 메타학습과 혼합효과(mixed-effects) 모델이 공유하는 계층적 해석에서 동기를 받은 확장을 개발한다. 구체적으로 Neural Process Boosting(NPBoost)을 제안하며, 구조화된 반응 변동성을 과제 간 공유되는 트리 부스팅 고정 효과와 과제 간 확률적 변동을 포착하는 NP 임의 효과로 분해한다. 부스팅 알고리즘으로 두 구성요소를 공동 학습하도록 하며, 이 과정에서 NP는 잔차적인 과제별 구조를 학습하고 트리 앙상블은 과제 간 공통 패턴을 추정한다. 합성 및 실제 표 형식(tabular) 메타학습 문제 전반에서, 공유 구조에 불연속성이나 부스팅된 트리가 효과적으로 표현할 수 있는 기타 불규칙 패턴이 있을 때 이 분해는 표준 NP보다 성능이 개선된다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.