In the last decades, energy-based models (EBMs) have become an important class of probabilistic models in which a component of the likelihood is intractable and therefore cannot be evaluated explicitly. Consequently, parameter estimation in EBMs is challenging for conventional inference methods. This work is a review paper that brings together these different methodological contributions within a unified framework, highlighting the connections among noise contrastive estimation (NCE), reverse logistic regression (RLR), Bennett's acceptance-ratio (BAR) method, multiple importance sampling (MIS), and bridge sampling within the context of EBMs. Some of them are equivalent under specific conditions. This unified perspective clarifies relationships among existing methods and enables the development of new estimators, with the potential to improve statistical and computational efficiency. Furthermore, this study helps elucidate the success of NCE in terms of its flexibility and robustness, while also identifying scenarios in which its performance can be further improved. Our aim is to provide a self-contained and accessible treatment, with clear and straightforward derivations, that brings together these contributions within a common framework and makes the main results and their underlying ideas understandable to a broader readership. The contribution is twofold. First, this work serves as a comprehensive tutorial for researchers entering the field, introducing the fundamental concepts and derivations. Second, it offers a thorough review for experienced practitioners. The code used in the numerical experiments is available to support the reproducibility of the results.
AMLworld의 가장 작은 테스트 분할에서 대규모 언어 모델(LLM)을 평가하는 것은 100만 개가 넘는 타깃 각각에 별도의 그래프 프롬프트(prompt)가 필요하기 때문에 비용이 많이 듭니다. 샘플링을 통해 이러한 비용을 줄일 수 있지만, 크기가 작은 균형 잡힌 서브셋은 가중치가 적용되지 않은 정밀도(precision)와 F1 점수를 변화시킵니다. 본 논문에서는 모든 불법 테스트 거래를 보존하면서 지도학습 점수 층(strata)에서 정상 거래를 샘플링하는 평가 셋인 AMLworld-Compact를 소개합니다. 이 세트의 HT-Coreset 프로토콜은 HI-Small 및 LI-Small에서 평가 타깃을 각각 271배 및 611배 줄입니다. 호비츠-톰슨(Horvitz-Thompson) 가중치(weight)는 고정된 예측에 대해 편향되지 않은 전체 테스트 오차 행렬 카운트 추정치를 제공하며, 재현율(recall)은 정확하고 정밀도와 F1은 비율 추정치입니다. Graph Feature Preprocessor(GFP) 특징(feature)을 사용한 홀드아웃 연구에서, 한 부스팅 트리 계열이 구성당 500회 추출에 걸쳐 다른 부스팅 트리 계열을 평가하기 위한 층을 정의합니다. 공개된 크기에서 HT 가중치를 적용한 균일 샘플링의 F1 RMSE가 4.44~7.41%포인트인 것에 비해, 본 방식은 0.00~2.58%포인트였으며 보수적 구간은 여전히 넓게 유지됩니다. 평가된 그래프 프롬프트 하에서, 7개의 오픈 가중치 LLM은 모두 불법으로 예측하는 기준선(baseline)에 근접한 가중 정밀도를 보였습니다. 모델(model)당 1회 실행에서 추출한 1,000개의 HI-Small 퓨샷 출력에 대한 결과 층화 감사에서, 어휘 검사는 정답인 이진 판정의 84.5%와 오답인 이진 판정의 56.2%를 통과했으므로 이러한 표식이 정확성을 입증하지는 못합니다. 저자들은 평가 셋, 구축 코드 및 감사 도구를 https://huggingface.co/datasets/typhoon-ai/AMLworldCompactEval 및 https://github.com/nat-nischw/AMLworld-Compact 에 공개합니다.
컴팩트 매니폴드 상의 가중 경험적 측도는 중요도 샘플링, 입자 근사, 사후 요약, 구적분(quadrature), 표현 학습(representation learning) 등에 등장한다. 일반적인 유효 표본 크기와 관련 가중치 요약은 지지(support)의 기하학을 무시한다. 본 연구는 다양한 스케일에서 내재 확산(intrinsic diffusion) 이후의 비균일성을 측정하기 위해 히트-커널 엔트로피 프로필을 도입한다. 2차 르네(Rényi) 엔트로피의 경우, 쌍별 히트-커널 중첩(overlap)이 정확한 프로필과 기하학적 유효 표본 크기를 제공한다. 이 유효 표본 크기는 인접하거나 중복된 입자를 할인한다. 서로 다른 입자 간 중첩이 사라질수록 일반적인 유효 표본 크기에 수렴한다. 경계가 없는 컴팩트 매니폴드에서 프로필 단조성, gESS 스케일 한계, 결정적 가중치 일관성, 자기 정규화 중요도 샘플링에 대한 유계 비율 결과를 확립한다. 구(sphere) 위에서는 로그를 취하지 않은 프로필이 구면 조화(spherical harmonic) 에너지로 분해된다. 첫 번째 항들은 제곱 평균 합성(resultant) 및 traceless 2차 모멘트 에너지로, vMF- 및 Bingham-형 스칼라 요약을 제공한다. 실험을 통해 가중치만으로는 또는 1차 모멘트 요약만으로는 놓치는 대칭점(antipodal), 고리(girdle), 다중 모달, 중복 입자 구조를 식별한다.
본 논문은 문맥적 밴딧에 대해 오프라인 데이터만을 사용하여 오프-정책 평가를 수행하기 위한 새로운 추정량을 제안한다. 제안된 추정량인 Kernel-WIS는 점근적으로 일치함이 보여졌으며, 특히 행동 정책 오지정(behaviour policy miss-specification)을 포함한 복잡한 조건에서 강력한 기준선(바닐라 가중 중요도 샘플링 포함)보다 실험적으로 우수한 성능을 보였다. Kernel-WIS의 이점은 바닐라 가중 중요도 샘플링의 유계성(bounded property)과 바닐라 중요도 샘플링의 선형성(linearity)을 결합하는 데서 나온다.
대규모 언어 모델(LLM)을 위한 강화학습(RL) 사후 학습은 "롤아웃 후 업데이트"라는 효율적인 패러다임을 따르며, 이는 필연적으로 오프-정책 학습 데이터를 발생시킨다. 이를 해결하기 위해 중요도 샘플링(Importance Sampling, IS)이 제안되었으나, 토큰 수준의 비율이 긴 시퀀스에 걸쳐 누적되면서 심각한 분산 폭발을 초래한다. 자연스러운 아이디어는 오프-정책 토큰을 온-정책 토큰으로 "전환"하여 보정을 위한 중요도 점수를 불필요하게 만드는 것이다. 이 아이디어에 착안하여, 우리는 거부 샘플링에서 영감을 받은 선택적 중요도 샘플링(Selective Importance Sampling, SIS)을 제안한다. 구체적으로, SIS는 오프-정책 모델을 제안 분포로 간주하고 토큰 수준의 거부 테스트를 수행하는 방식으로 구현된다. 수락된 토큰은 온-정책으로 간주되어 단위 중요도 점수를 받고, 거부된 토큰은 표준 IS 보정을 유지한다. 제안된 SIS는 토큰 수준과 시퀀스 수준 오프-정책 그래디언트 추정량 간의 격차를 줄임이 이론적으로 증명되었다. SIS는 정책 손실에서 중요도 비율만 수정하는 플러그인으로 작동하여 무시할 수 있는 수준의 실행 시간 오버헤드를 추가하며, 다양한 RL 사후 학습 알고리즘과 결합할 수 있다. 수학 및 에이전트 벤치마크에서 밀집 모델과 전문가 혼합(MoE) LLM을 대상으로 한 실험에서 SIS는 모든 목표에서 일관된 성능 향상을 보이며, 오프-정책 데이터 환경에서 실질적으로 더 강한 견고성을 제공함을 입증한다.
SLIM-RL은 확산 대규모 언어 모델(dLLM)의 강화학습에서 궤적 재구성 없이 τ-budget 디코더로 롤아웃의 커밋 리스크를 제한하고, 분산 감소 랜덤 마스킹 목적함수로 학습하는 방법이다. SDAR-4B 기준으로 TraceRL 대비 0.46배의 학습 샘플만으로 동등한 MATH500 정확도를 달성하며, GSM8K에서 11.05%, 코드 벤치마크 MBPP에서 4.20% 향상을 보인다.
언더랩 계수(UNL)를 다변량 및 혼합형 변수로 일반화하고, 베이즈 위험(Bayes risk)·상호 정보량(mutual information)과의 이론적 관계를 규명하며, 고차원에서 확장 가능한 중요도 샘플링(importance sampling) 기반 추정량을 제안한다. 클러스터링에서 분할-공변량 의존성을 평가하는 핵심 응용을 유방암 유전체 데이터셋과 독성학 데이터셋에 적용하여 방법론의 유용성을 실증한다.
열역학적 평형 상태에서 분자 시스템의 효율적인 샘플링은 통계 물리학의 대표적인 난제입니다. 이 난제는 볼츠만 생성기(BG)의 개발을 이끌었으며, BG는 생성 모델과 정확한 우도(likelihood) 및 중요도 샘플링(importance sampling) 보정을 결합하여 비상관 평형 샘플을 빠르게 생성할 수 있게 합니다. 그러나 현대 BG는 주로 정규화 플로우(NF)에 의존하며, 이는 엄격한 가역성 제약으로 인한 제한적인 표현력(이산 시간) 또는 계산 비용이 높은 우도(연속 시간)라는 문제를 겪습니다. 본 논문에서는 플로우 기반 BG 패러다임에서 벗어나 이러한 한계를 극복하는 새로운 자기회귀 모델링 프레임워크인 자기회귀 볼츠만 생성기(ArBG)를 제안합니다. ArBG는 플로우의 위상적 제약을 우회하고 순차적인 추론 시간 개입을 가능하게 하며, 대규모 언어 모델(LLM)에서 효과적인 아키텍처를 활용하여 향상된 확장성을 제공합니다. 우리는 ArBG가 모든 벤치마크에서 플로우 기반 모델 대비 상당한 성능 향상을 가져오며, 특히 10개 잔기로 구성된 Chignolin과 같은 더 큰 펩타이드 시스템에서 두드러진다는 것을 실증적으로 보여줍니다. 또한, ArBG 프레임워크로 학습된 1억 3,200만 매개변수의 전이 가능한 모델인 Robin을 소개하며, 이는 이전 최고 성능 대비 향상되어 8개 잔기 시스템에서 제로샷 에너지 오류인 E-W$_2$를 60% 이상 감소시킵니다. 코드는 다음 링크에서 확인할 수 있습니다: https://github.com/danyalrehman/autobg.
협력형 다중 에이전트 강화학습(MARL)에서 독립 액터의 순차 정책 업데이트마다 공동 advantage를 중요도 샘플링(importance sampling)으로 재추정할 때 분산이 지수적으로 커져 수렴이 불안정해지는 문제를 이론·실험으로 분석하고, advantage 변동 상한을 제어하는 클리핑 목적함수와 clip-HAPPO·clip-HATRPO를 제안한다. ε-Nash 균형에 대한 단조 개선과 sub-linear 수렴을 보장하며, 세 가지 MARL 벤치마크에서 낮은 advantage 분산과 안정적 학습을 통해 대부분 환경에서 베이스라인을 능가했다.
중요도 샘플링(Importance Sampling)은 제안 분포(Proposal Distribution)로부터 얻은 가중 샘플을 사용하여 목표 분포(Target Distribution) 하에서의 기댓값 추정량을 설계하는 몬테카를로 방법입니다. 고차원 공간의 다중 모드 분포(Multimodal Distribution)와 같이 목표 분포가 복잡한 경우, 중요도 샘플링의 효율성은 제안 분포의 선택에 크게 좌우됩니다. 본 논문에서는 효율적인 제안 분포를 구성하기 위한 새로운 적응형 방식을 제안합니다. 우리의 알고리즘은 전역 샘플링 메커니즘과 지연된 가중치 부여 절차를 결합하여 목표 분포의 효율적인 탐험을 촉진합니다. 제안된 가중치 부여 메커니즘은 제안 분포가 목표에 잘 적응하지 못한 영역에서 빠른 재샘플링을 가능하게 함으로써 핵심적인 역할을 수행합니다. 우리의 샘플링 알고리즘은 약한 가정 하에서 기하급수적으로 수렴함이 입증되었으며, 다양한 수치 실험을 통해 그 성능이 보여집니다.