arXiv:2610.10807v1 cs.LG

정규화되지 않은 분포를 위한 기호 밀도 추정기

Symbolic Density Estimators for Unnormalized Distributions

Vikas Kanaujia, Riyansha Singh, Shashank Sharma, Vipul Arora

제출 2026-10-07

저자 비고

arXiv Comments

32 pages, 3 figures

한국어 초록

관측된 표본으로부터 확률 밀도 함수(PDF)의 기호적(symbolic) 또는 해석적(analytical) 형태를 추정하는 것은 통계 및 계산 모델링의 근본적인 과제입니다. 이 과정은 기저 현상을 특징짓는 해석 가능하고 일반화 가능한 관계를 도출하는 데 매우 중요합니다. 전통적으로 이러한 추정은 도메인 전문성과 분야별 사전 지식에 크게 의존해 왔으며, 전문가들은 경험적 증거와 이론적 이해를 바탕으로 적절한 함수 형태나 매개변수 집합(parametric families)을 선택합니다. 그 후 이러한 형태의 계수는 일반적으로 매개변수 추정을 통해 결정됩니다. 본 논문에서는 상호작용의 범위 및 미리 정의된 기본 함수 집합과 같은 도메인 특화 사전 지식을 활용하여, 관측된 표본으로부터 정규화되지 않은 분포의 기호 표현식을 추정하는 프레임워크를 개발합니다. 본 연구는 딥 생성 모델(deep generative models)을 기호 회귀(SR)와 통합하고, 대규모 분포 인수분해와 같은 귀납적 편향(inductive bias)을 결합하여 문제를 다루기 쉬운 수준으로 유지합니다. 본 논문에서 살펴보는 딥 생성 모델에는 가능도 기반 모델(즉, 흐름 모델)과 점수 기반 모델이 포함됩니다. 실험을 통해 제안된 프레임워크가 다변량 토이 분포뿐만 아니라 계산 물리학의 격자계(즉, XY 모델 및 $φ^4$ 이론)에 대한 밀도 함수를 추정하는 데 효과적임을 보여줍니다. $φ^4$ 이론의 재규격화 문제에 적용했을 때, 제안된 프레임워크는 표본으로부터 직접 서로 다른 스케일에서의 해밀토니안 함수에 대한 간결한 기호 근사를 추정하여, 비섭동적(nonperturbative) 환경에서 전통적인 섭동론적 또는 해석적 접근법으로는 도출하기 어려울 수 있는 표현식을 산출합니다.

원문 초록

Estimating the symbolic or analytical form of probability density functions (PDFs) from observed samples is a fundamental challenge in statistical and computational modelling. This process is critical for deriving interpretable and generalizable relationships characterizing the underlying phenomenon. Traditionally, this estimation depends strongly on domain expertise and prior field-specific knowledge, with experts selecting appropriate functional forms or parametric families based on empirical evidence and theoretical understanding. The coefficients of these forms are then typically determined through parameter estimation. In this paper, we develop a framework for estimating symbolic expressions of unnormalized distributions from observed samples using domain-specific prior knowledge, such as the range of interactions and a predefined set of primitive functions. We integrate deep generative models with symbolic regression (SR), incorporating inductive biases, such as factorizing large distributions, to keep the problem tractable. The deep generative models we examine include likelihood-based models, viz., flow models, and score-based models. Experiments show the effectiveness of the proposed framework for estimating density functions for multivariate toy distributions as well as lattices from computational physics, namely, XY model and $φ^4$ theory. When applied to the renormalization problem in $φ^4$ theory, the proposed framework estimates compact symbolic approximations of the hamiltonian function at different scales directly from samples, yielding expressions that may be challenging to derive using traditional perturbative or analytic approaches in nonperturbative settings.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.10807v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2505.23527v4cs.LG공통 태그 Density Estimation공식 코드 · Papers with Code

정규화 흐름은 연속 제어에 유능한 모델이다

Normalizing Flows are Capable Models for Continuous Control

현대 강화학습(RL) 알고리즘은 트랜스포머, 에너지 기반 모델, diffusion/flow 기반 모델과 같은 강력한 확률 모델을 활용함으로써 성공을 거두었다. 이를 위해 RL 연구자들은 이러한 모델을 알고리즘에 맞추는 대가를 자주 감수한다. diffusion 모델은 표현력이 뛰어나지만 미분 방정식을 풀어야 한다는 점 때문에 계산 비용이 크고, autoregressive 트랜스포머 모델은 확장성은 있지만 일반적으로 이산 표현을 학습해야 한다. 반면 정규화 흐름(NF)은 미분 방정식을 풀거나 autoregressive 아키텍처 없이도 우도와 샘플링을 가능하게 하므로 매력적인 대안으로 보인다. 그러나 RL에서의 잠재력은 정규화 흐름이 충분한 표현력을 갖추지 못한다는 지배적인 믿음 때문인지 제한적인 주목만 받아왔다. 우리는 그렇지 않음을 보인다. NF의 최근 연구를 기반으로, 우리는 RL 알고리즘에 원활하게 통합되어 정책(policy), Q-함수(Q-function), 점유도(occupancy measure) 역할을 하는 단일 NF 아키텍처를 제안한다. 우리의 접근은 훨씬 더 단순한 알고리즘으로 이어지며, 모방 학습(imitation learning), 오프라인 RL, 목표 조건 RL(goal-conditioned RL), 비지도 RL에서 더 높은 성능을 달성한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.