Autoregressive Language Models are Secretly Energy-Based Models: Insights into the Lookahead Capabilities of Next-Token Prediction
한국어 초록
자기회귀 모델(autoregressive models, ARMs)은 현재 대규모 언어 모델(LLMs)의 지배적인 패러다임을 구성한다. 에너지 기반 모델(energy-based models, EBMs)은 또 다른 모델 부류로, 역사적으로는 LLM 개발에서 덜 보편적이었지만, 사후학습 정렬(post-training alignment)에서 최적 정책(optimal policy)을 자연스럽게 특징짓는다. 본 논문에서는 이 두 모델 부류를 통합적으로 바라보는 관점을 제시한다. 확률의 연쇄 법칙(chain rule of probability)을 출발점으로 삼아, 우리는 함수 공간(function space)에서 ARMs와 EBMs 사이의 명시적 전단사(bijection)를 확립하며, 이것이 최대 엔트로피 강화학습(maximum entropy reinforcement learning)의 소프트 벨만 방정식(soft Bellman equation)의 특수한 경우에 대응함을 보인다. 이 전단사를 바탕으로, 우리는 ARMs와 EBMs의 지도학습(supervised learning) 간 등가성을 도출한다. 또한 이론적 오차 경계(theoretical error bounds)를 제시함으로써 EBMs를 ARMs로 증류(distillation)하는 과정을 분석한다. 우리의 결과는 다음 토큰 예측(next-token prediction) 패러다임에 기반함에도 불구하고, ARMs가 미래를 계획할 수 있는 능력에 대한 통찰을 제공한다.
요약
자기회귀 모델(autoregressive models, ARMs)과 에너지 기반 모델(energy-based models, EBMs)은 대규모 언어 모델(large language models, LLMs)을 이해하는 서로 다른 관점으로 여겨져 왔지만, 이 연구는 두 계열이 함수 공간(function space)에서 본질적으로 대응된다는 점을 이론적으로 정교하게 보여 줍니다. 출발점은 확률의 연쇄 법칙(chain rule of probability)이며, 이를 통해 다음 토큰 예측에 기반한 ARM과 전체 시퀀스의 전역 점수를 다루는 EBM 사이에 명시적인 전단사(bijection)를 구성합니다. 이러한 대응은 단순한 형식적 유사성이 아니라, 두 모델이 동일한 분포를 서로 다른 파라미터화로 표현한다는 사실을 뜻하며, 나아가 최대 엔트로피 강화학습(maximum entropy reinforcement learning)의 소프트 벨만 방정식(soft Bellman equation)과도 긴밀하게 연결됩니다. 즉, 시퀀스의 지역적 조건부 확률을 학습하는 과정이 전역적 에너지 구조와 분리된 것이 아니라, 오히려 그 구조를 간접적으로 구현하는 방식으로 해석될 수 있습니다. 이 관점은 언어 모델이 단순히 직전 토큰만을 반영하는 기계가 아니라, 미래의 완성 형태를 암묵적으로 고려하는 계획적 모델일 수 있음을 시사합니다. 더 나아가 저자들은 이러한 전단사를 바탕으로 ARM과 EBM의 지도학습(supervised learning)이 사실상 동등한 최적화 문제라는 점을 도출하며, 학습 목표의 차이가 표현 방식의 차이로 환원될 수 있음을 보입니다. 이는 다음 토큰 예측이 전역 문맥을 충분히 반영하지 못한다는 기존의 직관에 중요한 반례를 제시하며, 표준 트랜스포머(Transformer) 기반 언어 모델도 전역적인 시퀀스 품질을 내재적으로 학습할 수 있음을 뒷받침합니다. 또한 이 연구는 EBM을 ARM으로 증류(distillation)할 때 발생하는 근사 오차에 대한 이론적 경계도 제시하여, 전역적 정렬과 효율적 추론을 동시에 만족시키는 실용적 경로를 마련합니다. 결국 이 논문은 생성 모델과 정렬 모델, 예측과 계획, 지역적 조건부 확률과 전역적 에너지 함수 사이의 경계를 재정의하면서, 자기회귀 언어 모델이 왜 놀라운 lookahead 능력을 보일 수 있는지를 하나의 통합된 수학적 틀로 설명합니다. 이러한 해석은 대규모 언어 모델의 동작 원리를 더 깊이 이해하는 데 중요한 통찰을 제공하며, 향후 더 강력하고 정렬된 언어 모델을 설계하는 이론적 기반으로도 의미를 가집니다.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.