언어 모델링은 단조 압축이다
Language Modeling is Monotone Compression
인공지능과 신경과학에서 오랫동안 제기되어 온 가설은 지능이 압축(compression)과 밀접하게 관련되어 있다는 것이다: 정보를 효율적으로 압축하는 능력은 직관적으로 지능 및 학습과 관련된 역량을 반영한다. 실제로 최근의 실험적 연구들은 대규모 언어 모델(LLM)의 능력과 압축기로서의 성능 사이의 연관성을 보여줌으로써 이러한 직관을 입증하고 있다: 예를 들어, Deletang 등(ICLR'24)은 LLM이 강력한 압축기로 사용될 수 있음을 보였고, Huang 등(COLM'24)은 LLM의 압축 능력이 지식 및 추론 벤치마크 성능과 높은 상관관계를 가짐을 보였다. 본 연구에서는 이러한 연관성에 대한 이론적 연구를 시작한다. 우리의 주요 결과는 (다음 토큰 예측기(next-token predictor)로 형식화된) LLM이 단조(monotone, 순서 보존) 압축 알고리즘---즉, 인코딩 과정이 입력의 순서를 보존하는 압축 알고리즘---과 동치라는 것이다. 이는 한쪽으로부터 다른 쪽을 구성할 수 있으며, 그 과정에서 오차가 덧셈적으로 최대 2의 차이까지 보존된다는 의미에서의 동치이다. 다음으로 우리는, 이 동치 관계에서 단조성이 필수적인 조건이 되는 것이 암호학적 (infinitely-often) 일방향 함수(one-way function)가 존재하는 경우이며, 오직 그 경우에만 그러함을 보인다. 이로부터 직접적인 결론으로서 독립적으로 흥미로운 암호학적 결과를 얻는다: 어떤 분포의 다음 비트 유사 엔트로피(next-bit pseudoentropy, 엔트로피의 계산적 유사체) 개념은 그 분포의 단조 비압축성(monotone incompressibility)과 동치이다. (이전에는 비압축성이 다음 비트 유사 엔트로피를 함의한다는 것만 알려져 있었다(Haitner 등, ITCS'23).)