arXiv:2610.11031v1 cs.IT

언어 모델링은 단조 압축이다

Language Modeling is Monotone Compression

Noam Mazor, Andrew Morgan, Rafael Pass

제출 2026-10-08

저자 비고

arXiv Comments

22 pages, 1 figure. Submitted to ICLR 2027

한국어 초록

인공지능과 신경과학에서 오랫동안 제기되어 온 가설은 지능이 압축(compression)과 밀접하게 관련되어 있다는 것이다: 정보를 효율적으로 압축하는 능력은 직관적으로 지능 및 학습과 관련된 역량을 반영한다. 실제로 최근의 실험적 연구들은 대규모 언어 모델(LLM)의 능력과 압축기로서의 성능 사이의 연관성을 보여줌으로써 이러한 직관을 입증하고 있다: 예를 들어, Deletang 등(ICLR'24)은 LLM이 강력한 압축기로 사용될 수 있음을 보였고, Huang 등(COLM'24)은 LLM의 압축 능력이 지식 및 추론 벤치마크 성능과 높은 상관관계를 가짐을 보였다. 본 연구에서는 이러한 연관성에 대한 이론적 연구를 시작한다. 우리의 주요 결과는 (다음 토큰 예측기(next-token predictor)로 형식화된) LLM이 단조(monotone, 순서 보존) 압축 알고리즘---즉, 인코딩 과정이 입력의 순서를 보존하는 압축 알고리즘---과 동치라는 것이다. 이는 한쪽으로부터 다른 쪽을 구성할 수 있으며, 그 과정에서 오차가 덧셈적으로 최대 2의 차이까지 보존된다는 의미에서의 동치이다. 다음으로 우리는, 이 동치 관계에서 단조성이 필수적인 조건이 되는 것이 암호학적 (infinitely-often) 일방향 함수(one-way function)가 존재하는 경우이며, 오직 그 경우에만 그러함을 보인다. 이로부터 직접적인 결론으로서 독립적으로 흥미로운 암호학적 결과를 얻는다: 어떤 분포의 다음 비트 유사 엔트로피(next-bit pseudoentropy, 엔트로피의 계산적 유사체) 개념은 그 분포의 단조 비압축성(monotone incompressibility)과 동치이다. (이전에는 비압축성이 다음 비트 유사 엔트로피를 함의한다는 것만 알려져 있었다(Haitner 등, ITCS'23).)

원문 초록

A long-standing hypothesis in artificial intelligence and neuroscience posits that intelligence is closely related to compression: the ability to compress information efficiently intuitively reflects capacities associated with intelligence and learning. Indeed, recent experimental works verify this intuition by showing connections between the capabilities of large language models (LLMs) and their ability as compressors: for instance, Deletang et al. (ICLR'24) demonstrate that LLMs can be used as powerful compressors, and Huang et al. (COLM'24) show that the compression ability of LLMs is highly correlated with their performance on benchmarks for knowledge and reasoning. In this work, we initiate a theoretical study of this connection. Our main result is that LLMs (formally modeled as next-token predictors) are equivalent to monotone (a.k.a. order-preserving) compression algorithms---namely, compression algorithms where the encoding process preserves the ordering of the inputs---in the sense that the one can be constructed from the other while preserving the same error up to an additive gap of 2. We next show that the monotonicity is required for this equivalence to hold if and only if cryptographic (infinitely-often) one-way functions exist. As a direct corollary, we get a cryptographic result of independent interest: the notion of next-bit pseudoentropy (a computational analogue of entropy) of a distribution is equivalent to monotone incompressibility of the distribution. (Previously, it was only known (Haitner et al., ITCS'23) that incompressibility implies next-bit pseudoentropy.)

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.11031v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.20427v1cs.CL공통 태그 Language Modeling, information theory

MoE 라우팅은 허프만 코딩인가? 사고의 연쇄에서 발견한 빈도-다양성 법칙

Is MoE Routing a Huffman Code? Discovering the Frequency-Diversity Law in Chain-of-Thought

전문가 혼합(MoE) 아키텍처는 스케일링을 혁신했지만, 라우팅의 근본적 논리는 여전히 블랙박스로 남아 있다. 본 논문에서는 MoE 라우팅이 단순한 선택이 아니라 허프만 코딩(Huffman Coding)의 현현임을 밝히는 근본적 지배 원칙을 발견한다. 빈도-다양성 법칙(Frequency-Diversity Law)을 제안하며, Phi-3.5-MoE, Gemma-4-27B-A4B와 같은 최신 모델이 자발적으로 정보이론적 엔진으로 작동함을 보인다. 이러한 모델은 흔한 토큰에는 희소 전문가 자원을 배분하는 반면, 사고의 연쇄(Chain-of-Thought) 경로에서 발견되는 드물고 복잡한 과제에는 고다양성 전문가 위원회를 호출한다. 그러나 Qwen3.5-35B-A3B에서 중요한 중복 함정을 확인한다. 유효 희소성(k/E_eff)이 충분히 낮을 때, 로드 밸런싱(load-balancing)이 의도치 않게 기능적 중복을 강요하여 근본적인 허프만 효율 신호를 가린다. 이 격차를 메우기 위해 기능적 중복을 제거하는 정밀 전략인 Subset Difference Pruning을 제안한다. 가지치기가 추론을 저하시키지 않음을 보이며, 오히려 모델의 잠재적 허프만 효율을 해방시켜 논리가 간결하고 고밀도 경로로 수렴하도록 한다. 우리의 발견은 차세대 MoE가 강제적 로드 밸런싱을 넘어 최소 기술 길이(MDL, Minimum Description Length) 최적성을 향해 나아가야 함을 시사한다. 고빈도 정보에는 더 짧은 전문가 라우팅 코드를, 저빈도 정보에는 더 길고 다양한 코드를 할당함으로써 라우팅을 휴리스틱에서 원칙적 압축 엔진으로 전환할 수 있다.

arXiv:2607.14112v1cs.CL공통 태그 Language Modeling, information theory

언어 모델의 신뢰성과 스케일링에 대한 정보이론적 한계

Information-Theoretic Limits of Reliability and Scaling in Language Models

대규모 언어 모델(LLM)은 충분한 스케일이 주어지면 어떤 작업에서든 완벽한 신뢰성을 달성할 수 있는 것처럼 평가된다. 우리는 이 가정이 정보이론적으로 정당화될 수 없음을 보인다. 모든 생성 작업에는 관측 가능한 컨텍스트로부터 해결할 수 있는 출력 불확실성의 양에 의해 결정되는, 어떤 모델도 초과할 수 없는 신뢰성 상한이 존재한다. 이 격차는 추가 컨텍스트로 메울 수 있는 해결 가능한 성분과 작업 모호성에 내재된 주관적 성분으로 분해된다. 자기회귀 생성은 출력에서 토큰 간 상관관계를 정량화하는 작업의 의존성 커널에 의해 지배되는 속도로 이 상한을 더욱 저하시킨다. 이 두 가지 기본 요소로부터, LLM 성능이 더 희소한 자원—학습 데이터 또는 모델 용량—에 의해 병목을 받는 제1원리 스케일링 법칙을 유도한다. 이 법칙은 Chinchilla 스케일링 법칙을 특수한 경우로 복원하며, 스케일링이 신뢰성을 향상시키는 조건에 대한 구조적 설명을 제공한다. 스케일링을 넘어, 우리의 프레임워크는 검색-증강의 이점과 치명적 망각의 스펙트럴 메커니즘 같은 다양한 실용적 현상을 통합한다. 우리의 연구는 도메인 전반에 걸쳐 모델 성능을 지배하는 자원-복잡도 트레이드오프를 형식화하여, 생성형 언어 모델의 성능 한계에 대한 통합 이론을 제시한다.

arXiv:2607.09487v1cs.LG공통 태그 Language Modeling, information theory

신경 붕괴는 금지된다: 언어 모델의 정보 하한

Neural Collapse Is Forbidden: Information Floors in Language Models

언어 모델 표현에서의 클래스 내 분산은 흔히 불완전한 신경 붕괴(neural collapse)로 해석된다. 우리는 이것이 할당된 정보 저장이며, 그 할당이 하나의 법칙을 따른다고 주장한다. 단 한 줄의 중심화 항등식이 심플렉스 등각 타이트 프레임(simplex equiangular-tight-frame) 주장들의 한 계열을 무효화하는데, 여기에는 우리 자신의 이전 연구도 포함된다. 14개 모델에 걸친 무차원 분산 점유율에서, 매크로 카테고리 구조는 표현 분산의 4~12%만을 차지하고 토큰 내 컨텍스트(within-token context)는 79~91%를 차지하며, 이는 100배의 매개변수 범위에 걸쳐 안정적이다. 이론적 측면에서, 토큰 수준의 가중치 감쇠는 카테고리를 발생 빈도가 아닌 타입 수에 비례하여 불이익을 주어, 다음 토큰 예측을 불균형한 K-클래스 문제로 환원시키며, 그 최적해는 카테고리 노름(norm)을 타입 수에 따라 순서화한다. 이진 카테고리에 대해 증명된 역방향 하한(converse floor)은, 클래스 내 분산이 조건부 상호 정보량 I(토큰; 컨텍스트 | 카테고리)에 적어도 비례하도록 강제한다. 이 법칙은 성립한다: 항등 분산도(identity dispersion)가—총 분산이 아니라—테스트된 모든 모델과 파티션에 걸쳐 이 정보를 추적하며, 이는 모델 비의존적 추정 하에서도, 심지어 모델 간에서도 성립하여 한 모델의 정보가 다른 모델의 분산도를 예측한다. 또한 사전학습 과정에서 카테고리 점유율은 과잉 상승하고 감소한 뒤 부분적으로 회복되는데, 이는 그것이 담아야 할 정보가 사라지지 않기 때문이다.

arXiv:2609.14743v3cs.CL공통 태그 Language Modeling

음성-텍스트 언어 모델에서 생성 모달리티 간극 정량화

Quantifying the Generation Modality Gap in Speech-Text Language Models

순수 음성 언어 모델(speech language model)은 일관성 있는 콘텐츠를 생성하는 데 있어 텍스트 및 음성-텍스트 언어 모델에 비해 뒤처지는 경우가 많지만, 음성과 텍스트 시스템이 일반적으로 서로 다른 지표로 평가되고 서로 다른 데이터로 학습(training)되기 때문에 이러한 간극을 정량화하기는 어렵습니다. 본 연구에서는 연속적인 음향 특징(feature) 생성을 위한 플로우 매칭(flow matching)을 기반으로 하는 일련의 음성 언어 모델 계열에서 음성-텍스트 모달리티 간극(modality gap)을 연구합니다. 일치된 데이터 분포에서 학습되고 일치된 생성 환경에서 평가되는 음성 전용, 텍스트 전용, 음성-텍스트 언어 모델을 비교하는 통합 생성 기반 평가 스위트를 구축합니다. 생성된 음성을 전사하고 참조 언어 모델로 점수를 매겨 측정한 의미론적 일관성(semantic coherence), 음소 n-그램 분포 통계로 측정한 국소적 음소 구조, 화자 일관성 및 음향 품질, 감정 기반 분포 지표 등 여러 차원에 걸쳐 생성된 연속 발화를 평가합니다. 데이터셋 전반에 걸쳐 음성-텍스트 결합 모델링이 의미론적 일관성을 크게 향상시킨다는 점을 확인했습니다. 그러나 이러한 개선이 모든 지표에서 균일하지는 않습니다. 음소 수준 지표는 미미하게만 변화하고, 음성-텍스트 연속 생성물에서 화자 유사도와 예측 품질은 더 낮은 반면 감정 기반 분포 지표는 향상됩니다. 더 큰 규모의 음성 전용 모델과 비교할 때, 제안하는 음성-텍스트 모델은 전사 기반 의미론적 일관성에서 스케일링(scaling) 격차의 상당 부분을 좁히며, 이는 텍스트가 음성 언어 모델링에 효율적인 의미론적 학습 신호를 제공함을 시사합니다.

arXiv:2607.23379v2cs.CL공통 태그 Language Modeling

활성화 오라클이 읽지 않는 법을 배울 때: 파인튜닝된 오라클의 개념별 사각지대

When Activation Oracles Learn Not to Read: Concept-Specific Blind Spots in Fine-Tuned Oracles

활성화 오라클(Activation Oracles, AOs)은 다른 모델의 내부 활성화에 대한 자연어 질문에 답하도록 학습된 언어 모델이다. 이들은 모델 상태에서 숨겨진 정보를 읽어내는 유연한 인터페이스를 제공하며, 특히 관련 정보가 내부적으로 표현되어 있지만 가시적 행동에서는 부재하거나 불완전한 경우에 유용하다. 그러나 AOs는 그 자체가 학습된 시스템이다. 이들의 답변은 표현된 정보의 중립적 판독이 아니라, 학습 데이터, 목표(objective), 그리고 학습된 보고(reporting) 행동에 의해 형성된다. 이를 통제된 금기어(Taboo Word) 추측 설정에서 연구한다. 여기서 피험 모델(subject model)은 직접적 공개를 피하면서 내부적으로 숨겨진 개념(concept)을 사용하도록 파인튜닝된다. 이러한 피험 모델에 대해 학습된 AO가 전문 판독자(specialist reader)가 될 것이라는 기대와 달리, 파인튜닝된 AO는 개념별 반판독자(concept-specific anti-reader)가 될 수 있음을 발견한다. 즉, 자신의 학습 동안 지속적으로 존재하는 개념을 선택적으로 회복하지 못한다. 이 실패는 단순히 피험 모델이나 오라클 표현에서 해당 개념이 부재하기 때문이라고 설명되지 않는다. 표적 개념은 오라클 내부에서 여전히 디코딩 가능하며, LogitLens 및 층(layer) 절제(ablation) 분석은 이 실패가 AO 판독(readout) 경로에서 발생함을 시사한다. 우리의 결과는 행동적 누출(behavioral leakage), 표현 수준의 디코딩 가능성(representation-level decodability), AO 언어화 가능성(AO-verbalizability)이 서로 분리될 수 있음을 보여주며, 학습된 해석 가능성(interpretability) 인터페이스에 대한 신뢰성 우려를 제기한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.