사전 데이터 적합 네트워크(PFN)는 합성 사전 분포의 베이지안 사후 예측 분포(PPD)를 근사하도록 학습되지만, 근사 품질에 대한 연구 결과는 놀라울 정도로 부족합니다. 경험적 위험 최소화 관점을 취하여, 본 연구는 PFN의 배포 오차를 사전 분포 오차, 컨텍스트 오차, 상각 오차로 분해하고, 현실적인 사전 분포 하에서 기준 PPD와 비교하여 상각 오차를 측정합니다. 실험 결과, PFN은 대체로 목표 PPD를 매우 잘 복원하는 것으로 나타났습니다. 그럼에도 불구하고, 사전 사전학습 분포 하의 희귀한 설정에서는 모델 크기를 스케일링할 때조차 잔여 상각 오차의 일부가 지속됨을 발견했습니다. 이는 독립적으로 사전학습된 PFN 간의 불일치로 나타나며, 추론 시 예측기에 대한 불확실성을 남깁니다. 이에 대한 해결책으로 여러 유형의 베이지안 모델 평균을 연구하였으며, 이를 통해 이러한 불확실성을 일관되게 줄이고 풀사이즈 TabICLv2 모델에 이르기까지 예측을 개선할 수 있음을 확인했습니다.
정확한 평가는 어떤 LLM을 배포할지 선택하는 데 핵심적이지만, 실시간 트래픽에서 후보 모델을 테스트하면 검증되지 않은 모델에 실제 사용자가 노출된다. 따라서 팀들은 이미 배포된 모델이 생성한 데이터를 바탕으로 후보 모델을 오프라인에서 평가한다. 이것이 오프-정책 평가(OPE)이며, 여기에는 두 가지 분포 변화(distribution shift)가 발생한다: 모델이 사후 학습(post-training)에서 업데이트됨에 따라 그 응답이 로그에 기록된 응답과 달라지는 정책 변화(policy shift), 그리고 비즈니스 요구사항에 따라 모델을 평가하는 보상(reward) 정의가 바뀌는 보상 변화(reward shift)이다. 고전적인 OPE 방법들은 과제(task)별로 정의되며 새로운 로그 데이터셋이나 보상 정의마다 처음부터 다시 적합(fitting)해야 하기 때문에 이러한 지속적 배포(continual-deployment) 환경에는 적합하지 않다. 이를 해결하기 위해 우리는 맥락적 밴딧(contextual-bandit) 과제들의 분포에 걸쳐 OPE를 상각(amortize)하는 사전 데이터 적합 네트워크(prior-data fitted network)인 PFN-OPE를 제안한다. 우리는 여러 보상 함수로 점수가 매겨진 LLM 응답 풀(pool)로부터 구성된 과제들에 대해 이 네트워크를 한 번 사전학습(pretrain)하며, 이 과제들에서는 두 가지 분포 변화가 모두 발생한다. 테스트 시점에는 과제별 적합 없이 단일 순전파(forward pass)만으로 로그 데이터셋과 프롬프트(prompt)당 하나의 샘플링된 타깃 응답을 값 추정치로 매핑한다. Qwen, Llama, Gemma 정책을 사용한 HelpSteer2 및 UltraFeedback에서, PFN-OPE는 보상이 변화하는(reward-shifted) 환경에서 테스트된 모든 구성에 걸쳐 최상의 베이스라인보다 2.0배에서 9.3배 낮은 오차를 달성한다.
사전 데이터 적합 네트워크(PFN, Prior-Data Fitted Network)는 단일 순전파(forward pass)로 근사 베이지안 추론(inference)을 수행하며, 이를 기반으로 구축된 정형 파운데이션 모델(TFM)은 현재 널리 사용되고 있습니다. 네트워크가 내부적으로 무엇을 추론하는지 이해하기 위해 최근 TFM에 대한 기저 메커니즘(mechanistic) 연구들은 예측이 형성되는 위치를 파악하고 있으나, 이러한 모델을 PFN이 아닌 단순 정형 예측기로 다루고 있습니다. 따라서 PFN이 정상 커널(stationary kernel)을 규정하는 양인 컨텍스트의 스펙트럼 성분을 표현하는지, 그리고 이 성분을 명시적인 커널로 읽어낼 수 있는지는 여전히 밝혀지지 않았습니다. 본 연구에서는 두 질문에 모두 답합니다. 첫째, 4개의 사전학습된 TFM 및 의사결정 나무 사전에 대해서만 학습된 모델을 포함한 7개의 PFN 전반에서 잔차 스트림(residual stream)에 대한 선형 프로브는 $R^2 \geq 0.95$로 컨텍스트의 주파수를 복원합니다. 이 구조는 단일 주방향(principal direction)에 의해 주도됩니다. 둘째, 활성화 및 부분공간 패칭(activation and subspace patching)은 네트워크가 저차원 부분공간을 통해 이 구조를 사용함을 보여주며, 여기서 소수의 스펙트럼 방향이 무작위 방향보다 예측을 훨씬 더 크게 변화시킵니다. 이는 의사결정 나무 모델에서도 성립하므로, 스펙트럼 학습 사전이 필수적인 것은 아닙니다. 최대 499개의 특성을 가진 실제 데이터셋에서 라벨 없이 선택된 TabPFN의 192개 방향 중 64개는 단 한 쌍을 제외한 모든 경우에서 컨텍스트 인과 효과의 85~95%를 전달합니다. 셋째, 보흐너 정리(Bochner's theorem)를 통해 고정된 PFN 표현을 명시적인 정상 커널로 변환하는 필터 뱅크 디코더(Filter Bank Decoder)를 도입합니다. 테스트 시점의 최적화 없이도, 디코딩된 커널은 약 200배 낮은 비용으로 딥 커널 학습(deep kernel learning) 및 랜덤 푸리에 특성(random Fourier features)에 필적하는 가우시안 프로세스 회귀를 지원합니다. 따라서 PFN 잠재 공간은 인과적으로 사용되며 이식 가능한 커널로 복원할 수 있는 스펙트럼 구조를 보유하고 있습니다.
엔트로피 탐색(Entropy Search, ES)과 같은 정보 이론적 획득 함수는 베이지안 최적화(Bayesian optimization, BO)를 위한 원칙적인 탐험-활용 프레임워크를 제공한다. 그러나 실제 구현은 복잡하고 느린 근사, 즉 정보 이득의 몬테카를로 추정에 의존한다. 이러한 복잡성은 수치 오차를 유발할 수 있으며 특수하게 수작업으로 제작된 구현을 필요로 한다. 우리는 Prior-data Fitted Networks(PFN)를 사용하여 단일 순전파(forward pass)만으로 엔트로피 탐색 기반 획득 함수를 근사하도록 학습하는 2단계 상환(amortization) 전략을 제안한다. 첫 번째 PFN은 최적점에 대한 정보를 조건으로 하도록 학습되며, 두 번째로 $α$-PFN은 첫 번째 PFN으로 측정한 정보 이득에 대해 학습함으로써 기대 정보 이득을 예측하도록 학습된다. $α$-PFN은 유연한 학습 기반 근사를 제공하여 복잡한 휴리스틱 근사를 후보당 단일 순전파로 대체함으로써, 빠르고 확장 가능한 획득 함수 평가를 가능하게 한다. 실험적으로, 우리의 접근법은 합성 및 실제 벤치마크에서 최신 엔트로피 탐색 구현과 대등한 성능을 보이면서도, 모든 실험에 걸쳐 다양한 엔트로피 탐색 변형을 가속하여 50배 이상의 속도 향상을 달성한다. 소스 코드: https://github.com/automl/AlphaPFN.