arXiv:2610.13711v1 cs.LG

GFlowNet 학습에 대한 이해를 향상하기 위하여: 이론적 관점

Towards Understanding the Training of GFlowNets: A Theoretical Perspective

Rui Hu, Yu Chen, Zhuoran Li, Longbo Huang

제출 2026-10-09

한국어 초록

생성적 흐름 네트워크(GFlowNets)는 양의 보상(reward)에 비례하여 이산적인 객체를 샘플링하는 정책을 학습합니다. GFlowNet은 밸런스 목적함수(balance objectives)를 최소화하여 학습(training)되며, 이 목적함수를 정확히 만족할 경우 정확한 샘플링이 보장됩니다. 그러나 0이 아닌 밸런스 손실(loss)과 근사적 정류성(approximate stationarity)을 샘플링 정확도와 연결하는 포괄적인 이론은, 특히 진화하는 샘플링 분포 및 역방향 정책(backward policies) 하에서는 여전히 부족합니다. 이러한 간극을 메우기 위해, 우리는 이 체제에서 흐름 매칭(Flow Matching), 상세 밸런스(Detailed Balance), 궤적 밸런스(Trajectory Balance)를 위한 통합 이론을 개발합니다. 먼저 종단 대칭 KL 발산(terminal symmetric KL)의 상한을 기대 밸런스 손실의 제곱근으로 제한합니다. 그런 다음 근사적 정류성이 매개변수화 불완전성을 측정하는 접공간 잔차(tangent-space residual) 내에서 이러한 분포 오차를 제어함을 보입니다. 마지막으로 고정되거나 제어된 샘플링 및 고정되거나, 밸런스 학습되거나, 별도로 업데이트되는 역방향 정책 하에서 유한 시간 수렴(convergence)을 규명합니다. 표준적인 평활성 가정 하에서 고정되거나 제어된 샘플링과 고정 또는 밸런스 학습된 역방향 정책을 사용할 경우, 균일한 커버리지 하에서 기대 손실은 $O(\barε^2+T^{-1})$이고 기대 종단 대칭 KL은 $O(\barε+T^{-1/2})$입니다. 별도로 업데이트되는 역방향 정책의 경우 잔차 이웃에 접근하고 이러한 수렴 속도를 유지하기 위한 충분한 업데이트 감쇠 조건을 규명합니다. 이러한 결과는 밸런스 목적함수를 샘플링 정확도와 연결하고 매개변수화, 커버리지 및 이동 구성 요소가 GFlowNet 학습을 어떻게 좌우하는지 명확히 밝힙니다.

원문 초록

Generative Flow Networks (GFlowNets) learn policies that sample discrete objects in proportion to a positive reward. They are trained by minimizing balance objectives, whose exact satisfaction guarantees correct sampling. However, a comprehensive theory linking nonzero balance loss and approximate stationarity to sampling accuracy, especially under evolving sampling distributions and backward policies, is still lacking. To bridge this gap, we develop a unified theory for Flow Matching, Detailed Balance, and Trajectory Balance in this regime. We first bound terminal symmetric KL by the square root of the expected balance loss. Then, we show that approximate stationarity controls this distribution error up to a tangent-space residual measuring parameterization incompleteness. Finally, we establish finite-time convergence under fixed or controlled sampling and fixed, balance-trained, or separately updated backward policies. Under standard smoothness assumptions, with fixed or controlled sampling and a fixed or balance-trained backward policy, the expected loss is $O(\barε^2+T^{-1})$ and expected terminal symmetric KL is $O(\barε+T^{-1/2})$ under uniform coverage. For a separately updated backward policy, we characterize the sufficient update decay to approach the residual neighborhood and preserve these rates. These results connect balance objectives to sampling accuracy and clarify how parameterization, coverage, and moving components govern GFlowNet training.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.13711v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.22864v2cs.CV공통 태그 Reinforcement Learning

Spatial-IQ: 계층적 능력 테스트를 통한 공간 지능 분해

Spatial-IQ: Deconstructing Spatial Intelligence via Hierarchical Capability Tests

다중모달 대규모 언어 모델(MLLM)은 시각 해석에는 뛰어나지만, 인간이 안정적으로 풀 수 있는 공간 추론 과제에서는 실패한다. 기존 벤치마크는 이러한 모델을 블랙박스로 평가하여 낮은 성능의 근본 원인을 식별하는 능력을 제한한다. 모델이 공간 추론 과제에서 실패할 때, 그 장애가 객체 경계 인식과 같은 지각(perceptual) 문제인지, 가려짐에 대해 추론하여 숨겨진 기하를 추론하는 것과 같은 인지(cognitive) 문제인지 판별하기 어렵다. 우리는 Spatial-IQ를 제안한다. 이는 쌓인 3D 구조에서의 객체 개수 세기를 인간 공간 인지의 발달 단계에 따라 구성된 9개의 지각·인지 하위 과제로 분해하는 계층적 진단 프레임워크이며, 정신 회전(mental rotation)을 추가 목표 프로브로 포함한다. NVIDIA Isaac Sim을 사용하여 과제별 ground truth를 갖춘 약 80,000개의 다양한 쌓인 3D 구조 데이터셋을 절차적으로 생성했다. 자유 응답 텍스트, 객관식 이미지, 이미지 편집의 세 가지 출력 형식과 인간 기준선을 함께 사용하여 모델을 평가한다. Spatial-IQ 프레임워크는 최고 성능 모델이 종종 목표 과제(객체 개수 세기)를 뒷받침하도록 의도된 하위 수준 하위 과제에는 성공하지 못한 채 목표 과제에서 성공하는 경우가 많으며, 모델마다 이러한 계층적 연쇄를 얼마나 유지하는지가 다르다는 것을 보여준다. 이는 목표 과제 정확도만으로는 드러나지 않을 지름길(shortcut) 행동을 종종 드러낸다. 마지막으로, 계층적 하위 과제에 대한 사고의 연쇄(Chain-of-Thought, CoT) 감독과 검증 가능 보상을 이용한 강화학습을 결합하여 모델을 학습하면, 하위 과제 간 공간적 일관성과 목표 과제 정확도가 모두 크게 향상됨을 보여준다. 이는 제안한 분해가 진단 도구이자 학습 신호 모두로서 가치 있음을 뒷받침한다.

arXiv:2607.20345v2cs.RO공통 태그 Reinforcement Learning

실험실-매장 격차 해소: 소매 휴머노이드를 위한 데이터 효율적 사후 학습 및 경험 기반 학습 VLA 프레임워크

Closing the Lab-to-Store Gap: A Data-Efficient Post-Training and Experience-Driven Learning VLA Framework for Retail Humanoids

벤치마크 성능과 신뢰할 수 있는 실세계 운용 사이의 격차를 좁히는 것은 실행 오류, 분포 이동(distribution shift), 환경 변동성을 처리해야 하는 비전-언어-행동(VLA) 휴머노이드 로봇의 핵심 과제로 남아 있다. 본 논문은 DEED(Data-Efficient Post-Training and Experience-Driven Learning, 데이터 효율적 사후 학습 및 경험 기반 학습)를 제안하며, 이는 Unitree G1-Edu 휴머노이드 로봇과 GR00T N1.6 파운데이션 모델을 사용한 슈퍼마켓 과자 재입고 작업에서 평가된 시스템 수준 접근법이다. DEED는 세 가지 핵심 구성 요소로 이루어진다: (1) 제어 주파수 정렬, 데이터 큐레이션, 작업 관련 시각적 강조, VLA 의존도 감소를 포함하는 데이터 효율적 사후 학습 파이프라인; (2) 텍스트 기반 advantage 접두 문맥과 비전-언어 가치 함수를 통해 RECAP에서 적용한 경험 기반 정제의 실세계 연구; (3) 분포 내(in-distribution) 및 분포 외(out-of-distribution) 행동을 연구하기 위한 잠재 공간(latent-space) 분석 도구. 우리의 결과는 실험실-매장 격차를 메우는 것이 주로 아키텍처 문제가 아니라 시스템 통합 과제임을 시사한다. 신중한 데이터 설계와 표적화된 사후 학습은 단순 미세조정에서 실패하는 정책을 단일 GPU만으로 유능한 실세계 시스템으로 변환할 수 있다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.