함수 공간 변분 추론을 위한 흐름 변환 암시적 프로세스
Flow-Transformed Implicit Processes for Function-Space Variational Inference
암시적 프로세스(implicit process) 사전확률은 유연한 생성 메커니즘을 통해 함수에 대한 분포를 정의하므로, 베이지안 함수 공간 모델링에 매력적인 선택지입니다. 그러나 이러한 사전확률이 유도하는 함수 공간 분포는 일반적으로 닫힌 형식(closed form)으로 제공되지 않기 때문에 사후 추론(posterior inference)을 수행하기가 어렵습니다. 한 가지 실용적인 전략은 표본 추출된 유한한 함수 집합을 사용하여 사전확률을 근사한 다음, 사후 함수를 이러한 표본들의 학습된 조합으로 표현하는 것입니다. 기존 접근 방식들은 일반적으로 결합 가중치에 가우시안 변분 분포를 부여합니다. 이러한 방식은 다루기 쉽지만(tractable), 특히 실제 사후확률이 비대칭이거나 꼬리가 두껍거나(heavy-tailed) 다봉(multimodal) 형태일 때 표현할 수 있는 사후 불확실성의 형태를 제한합니다. 본 연구에서는 이러한 유한 차원 함수 공간 근사의 표현력을 더욱 높이는 변분 추론(variational inference) 방법인 흐름 변환 암시적 프로세스(Flow-Transformed Implicit Processes, FTIP)를 제안합니다. FTIP는 결합 가중치에 가우시안 분포를 사용하는 대신, 정규화 흐름(normalizing flow)을 사용하여 더욱 풍부한 변분 분포를 정의합니다. 이를 통해 다루기 쉬운 최적화를 유지하면서 함수에 대한 유연한 사후 분포를 유도합니다. 본 연구는 블랙박스 알파(Black-Box α) 목적 함수를 사용하여 모델을 학습시킴으로써, 질량 포괄(mass-covering) 및 모드 탐색(mode-seeking) 변분 거동을 비교할 수 있도록 합니다. 실험 결과, FTIP는 가우시안 계수 근사가 매끄럽게 뭉개거나 붕괴시키는 경향이 있는 함수 공간 내의 비대칭 및 다봉 사후 구조를 효과적으로 포착함을 보여줍니다.