PyTorchKR Papers

최신 논문

총 3편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.13711v1cs.LG

GFlowNet 학습에 대한 이해를 향상하기 위하여: 이론적 관점

Towards Understanding the Training of GFlowNets: A Theoretical Perspective

생성적 흐름 네트워크(GFlowNets)는 양의 보상(reward)에 비례하여 이산적인 객체를 샘플링하는 정책을 학습합니다. GFlowNet은 밸런스 목적함수(balance objectives)를 최소화하여 학습(training)되며, 이 목적함수를 정확히 만족할 경우 정확한 샘플링이 보장됩니다. 그러나 0이 아닌 밸런스 손실(loss)과 근사적 정류성(approximate stationarity)을 샘플링 정확도와 연결하는 포괄적인 이론은, 특히 진화하는 샘플링 분포 및 역방향 정책(backward policies) 하에서는 여전히 부족합니다. 이러한 간극을 메우기 위해, 우리는 이 체제에서 흐름 매칭(Flow Matching), 상세 밸런스(Detailed Balance), 궤적 밸런스(Trajectory Balance)를 위한 통합 이론을 개발합니다. 먼저 종단 대칭 KL 발산(terminal symmetric KL)의 상한을 기대 밸런스 손실의 제곱근으로 제한합니다. 그런 다음 근사적 정류성이 매개변수화 불완전성을 측정하는 접공간 잔차(tangent-space residual) 내에서 이러한 분포 오차를 제어함을 보입니다. 마지막으로 고정되거나 제어된 샘플링 및 고정되거나, 밸런스 학습되거나, 별도로 업데이트되는 역방향 정책 하에서 유한 시간 수렴(convergence)을 규명합니다. 표준적인 평활성 가정 하에서 고정되거나 제어된 샘플링과 고정 또는 밸런스 학습된 역방향 정책을 사용할 경우, 균일한 커버리지 하에서 기대 손실은 $O(\barε^2+T^{-1})$이고 기대 종단 대칭 KL은 $O(\barε+T^{-1/2})$입니다. 별도로 업데이트되는 역방향 정책의 경우 잔차 이웃에 접근하고 이러한 수렴 속도를 유지하기 위한 충분한 업데이트 감쇠 조건을 규명합니다. 이러한 결과는 밸런스 목적함수를 샘플링 정확도와 연결하고 매개변수화, 커버리지 및 이동 구성 요소가 GFlowNet 학습을 어떻게 좌우하는지 명확히 밝힙니다.

arXiv:2610.05490v2cs.LG

생성 플로우의 보편성과 수렴

Universality and Convergence of Generative Flows

생성 플로우(generative flow)는 플로우가 균형을 이루도록 학습(training)함으로써 정규화되지 않은 타깃으로부터 샘플링하며, 연구자는 신호로서 학습 손실(loss)을 관찰합니다. 본 논문에서는 이 신호가 어떤 가치를 지니는지, 즉 작은 손실이 정확한 샘플러를 보장하는지, 손실을 0으로 만들 수 있는지, 그리고 경사하강법(gradient descent)이 얼마나 빠르게 이를 수행하는지 질문을 던집니다. 첫 번째 질문은 손실이 결정합니다. 균형의 양변을 차이로 비교하는 손실은 플로우가 유도하는 샘플러의 오차를 전변동(total variation) 측면에서 유계(bound)하며, 정책(policy)을 포함하지 않는 명시적 상수를 가집니다. 반면 비율을 통해 비교하는 플로우 매칭 손실은 생성자가 균형에서 연속적일 때마다 단일 사이클 상에서도 그러한 경계를 허용하지 않습니다. 그래프 상에서는 역방향 정책(backward policy)이 나머지 두 가지를 결정합니다. 역방향 정책이 고정되면 균형은 역방향 체인 하에서의 불변성이 되므로 유한 그래프에서 존재성은 자연스럽게 주어지며, 역 스펙트럼 갭(inverse spectral gap) 역할을 하는 해당 체인의 그린 연산자(Green operator) 노름이라는 하나의 상수가 균형 플로우 주변에서 손실 곡률의 차수를 위아래로 고정하고, 그 근처에서 학습이 수렴(convergence)하는 속도의 하한을 설정합니다. 그 메커니즘은 경사하강법이 역방향 정책을 따라 플로우를 확산시키는 것입니다. 세부 균형(detailed balance) 및 궤적 균형(trajectory balance)의 로그 제곱 생성자의 경우, 상태에 대한 균형 손실 학습은 모든 양수 초기화(initialization)로부터 모든 유한 경로 연결 그래프에서 전역적으로 수렴합니다. 역방향 궤적이 평균적으로 짧은 반면 이 상수는 무한할 수 있으며, 이 경우 정확한 플로우 매칭이 실패할 수 있습니다. 경계와 속도는 가산 가능한 상태 공간에서의 정확한 계산을 통해 검증되며, 모든 정리는 Lean 4 구현으로부터 계산된 검증 상태를 수반합니다.

arXiv:2607.13394v1cs.CL

GFlowRL: 대규모 언어 모델로 분포 매칭 강화학습 확장

GFlowRL: Scaling Distribution-Matching RL to Large Language Models

생성 흐름 네트워크(GFlowNets)는 대규모 추론 모델을 위한 보상 최대화 강화학습(RL)에 대한 유망한 대안을 제공하며, 지배적 모드로 수렴하는 대신 보상 분포를 맞춤으로써 다양한 추론 경로를 장려한다. 최근 연구는 수학 및 코드 분야에서 가능성을 보여주지만, GFlowNet 스타일의 강화학습을 현대적인 사후 학습 파이프라인으로 확장하는 것은 여전히 어렵다. 모델 크기, 롤아웃 수평선, 보상 노이즈, 분산 시스템 복잡도가 함께 증가함에 따라, 학습된 프롬프트 조건부 분할 함수(partition function)는 유용한 정규화 요소(normalizer)라기보다 그래디언트 불안정성과 엔지니어링 오버헤드의 원인이 된다. 체계적인 분석을 통해, 이전에는 필수적인 것으로 여겨졌던 학습된 분할 함수가 학습에 이미 필요한 롤아웃 그룹으로부터 계산되는 배치 내 Monte Carlo 추정치로 대체될 수 있음을 밝혔다. 우리는 보조 분할 네트워크를 완전히 제거하면서도 보상-분포 매칭 목표를 유지하는 간소화된 GFlowNet 스타일 강화학습 알고리즘인 GFlowRL을 제안한다. 이는 롤아웃/트레이너 드리프트에 대한 중요도 샘플링(importance-sampling) 보정과 이상치(outlier) 잔차에 대한 비대칭 flow-gap 클리핑이라는 두 가지 안정화 장치로 보완된다. GFlowRL은 수학, 코드, 적대적 레드팀 테스팅 벤치마크에서 모든 대안 방법들을 능가하며, 14B 규모에서 Codeforces 레이팅 2048(o3-mini와 25 Elo 이내)에 도달하고 AdvBench 및 HarmBench에서 최고 평균 ASR@1을 달성하여, 이전 GFlowNet 스타일 방법인 FlowRL이 발산하는 영역에서 이전 SOTA 다중 턴(multi-turn) 공격자를 능가한다. 동일한 방법은 최대 235B 파라미터까지 평가된 모든 전문가 혼합(MoE) 구성으로 전이되며, FlowRL은 여기서도 다시 수렴하지 못한다. 우리가 아는 한, GFlowRL은 dense 및 sparse 아키텍처 모두에서 안정적으로 확장되는 최초의 GFlowNet 스타일 강화학습 알고리즘이다. 코드는 https://github.com/microsoft/gflowrl 에 공개될 예정이다.