GFlowNet 학습에 대한 이해를 향상하기 위하여: 이론적 관점
Towards Understanding the Training of GFlowNets: A Theoretical Perspective
생성적 흐름 네트워크(GFlowNets)는 양의 보상(reward)에 비례하여 이산적인 객체를 샘플링하는 정책을 학습합니다. GFlowNet은 밸런스 목적함수(balance objectives)를 최소화하여 학습(training)되며, 이 목적함수를 정확히 만족할 경우 정확한 샘플링이 보장됩니다. 그러나 0이 아닌 밸런스 손실(loss)과 근사적 정류성(approximate stationarity)을 샘플링 정확도와 연결하는 포괄적인 이론은, 특히 진화하는 샘플링 분포 및 역방향 정책(backward policies) 하에서는 여전히 부족합니다. 이러한 간극을 메우기 위해, 우리는 이 체제에서 흐름 매칭(Flow Matching), 상세 밸런스(Detailed Balance), 궤적 밸런스(Trajectory Balance)를 위한 통합 이론을 개발합니다. 먼저 종단 대칭 KL 발산(terminal symmetric KL)의 상한을 기대 밸런스 손실의 제곱근으로 제한합니다. 그런 다음 근사적 정류성이 매개변수화 불완전성을 측정하는 접공간 잔차(tangent-space residual) 내에서 이러한 분포 오차를 제어함을 보입니다. 마지막으로 고정되거나 제어된 샘플링 및 고정되거나, 밸런스 학습되거나, 별도로 업데이트되는 역방향 정책 하에서 유한 시간 수렴(convergence)을 규명합니다. 표준적인 평활성 가정 하에서 고정되거나 제어된 샘플링과 고정 또는 밸런스 학습된 역방향 정책을 사용할 경우, 균일한 커버리지 하에서 기대 손실은 $O(\barε^2+T^{-1})$이고 기대 종단 대칭 KL은 $O(\barε+T^{-1/2})$입니다. 별도로 업데이트되는 역방향 정책의 경우 잔차 이웃에 접근하고 이러한 수렴 속도를 유지하기 위한 충분한 업데이트 감쇠 조건을 규명합니다. 이러한 결과는 밸런스 목적함수를 샘플링 정확도와 연결하고 매개변수화, 커버리지 및 이동 구성 요소가 GFlowNet 학습을 어떻게 좌우하는지 명확히 밝힙니다.