$α$-PFN: 문맥 내 학습을 통한 빠른 엔트로피 탐색
$α$-PFN: Fast Entropy Search via In-Context Learning
엔트로피 탐색(Entropy Search, ES)과 같은 정보 이론적 획득 함수는 베이지안 최적화(Bayesian optimization, BO)를 위한 원칙적인 탐험-활용 프레임워크를 제공한다. 그러나 실제 구현은 복잡하고 느린 근사, 즉 정보 이득의 몬테카를로 추정에 의존한다. 이러한 복잡성은 수치 오차를 유발할 수 있으며 특수하게 수작업으로 제작된 구현을 필요로 한다. 우리는 Prior-data Fitted Networks(PFN)를 사용하여 단일 순전파(forward pass)만으로 엔트로피 탐색 기반 획득 함수를 근사하도록 학습하는 2단계 상환(amortization) 전략을 제안한다. 첫 번째 PFN은 최적점에 대한 정보를 조건으로 하도록 학습되며, 두 번째로 $α$-PFN은 첫 번째 PFN으로 측정한 정보 이득에 대해 학습함으로써 기대 정보 이득을 예측하도록 학습된다. $α$-PFN은 유연한 학습 기반 근사를 제공하여 복잡한 휴리스틱 근사를 후보당 단일 순전파로 대체함으로써, 빠르고 확장 가능한 획득 함수 평가를 가능하게 한다. 실험적으로, 우리의 접근법은 합성 및 실제 벤치마크에서 최신 엔트로피 탐색 구현과 대등한 성능을 보이면서도, 모든 실험에 걸쳐 다양한 엔트로피 탐색 변형을 가속하여 50배 이상의 속도 향상을 달성한다. 소스 코드: https://github.com/automl/AlphaPFN.