arXiv:2606.11531v1 cs.CL

반복되는 패턴의 계층적 재사용을 통한 언어 복잡도 측정

Measuring language complexity from hierarchical reuse of recurring patterns

Junyi Zhou, Rui Liu, Pengyu Liu, Yu Liu

제출 2026-06-10

한국어 초록

우리는 알고리즘 정보 이론에 기반한 언어 복잡도 측정치로서 ladderpath 지수를 소개합니다. 이는 반복되는 하위 구조의 계층적 재사용을 통해 시퀀스를 재구성하는 데 필요한 최소 단계를 계산하며, 콜모고로프 복잡도(Kolmogorov complexity)와 관련되지만 구별되는 정확히 계산 가능하면서도 제한된 형태의 알고리즘 압축 가능성을 포착합니다. 우리는 Parallel Universal Dependencies 데이터셋의 21개 병렬 말뭉치에 ladderpath 접근법을 적용합니다. Ladderpath 지수는 언어 간에 거의 불변이며, 말뭉치 길이보다 훨씬 적게 변동합니다. 이는 모든 말뭉치가 통합된 이진 표현으로 매핑될 때 더욱 뚜렷해지며, 표현 독립적 관점에서 등가 복잡도 가설(equi-complexity hypothesis)을 뒷받침하는 증거가 됩니다. 또한 문자 집합 크기와 말뭉치 길이 사이, 그리고 어휘 수준과 말뭉치 수준의 재구성 복잡도 사이의 상충 관계(trade-off)를 관찰했는데, 이는 총 복잡도가 보존되어 언어적 수준 전반에 걸쳐 재분배된다는 상충 가설을 지지합니다. Ladderpath 접근법이 어떠한 언어적 입력 없이 식별한 재사용 가능한 하위 구조는 자연 어휘에서 확인된 단어 및 형태소적 구성 요소와 일치합니다. Ladderpath 접근법이 포착한 계층적 재사용은 인지 과학에서 제안된 청킹 메커니즘(chunking mechanisms)과 유사한데, 이는 인간의 인지 시스템이 공유된 메모리 및 처리 제약 조건 하에서 언어적 입력을 중첩된 재사용 가능한 단위로 압축하는 방식입니다. 인지적 청킹과 ladderpath 접근법 사이의 이러한 연결은 등가 복잡도 및 상충 가설에 대한 새로운 해석을 제공하며, 이 두 가설이 모든 인간 언어의 언어 처리를 기반으로 하는 공유된 인지 아키텍처에 뿌리를 두고 있음을 보여줍니다.

원문 초록

We introduce the ladderpath index as a measure of language complexity grounded in algorithmic information theory. It counts the minimum steps needed to reconstruct a sequence through hierarchical reuse of repeated substructures, capturing an exactly computable but constrained form of algorithmic compressibility related to, but distinct from, Kolmogorov complexity. We apply the ladderpath approach to 21 parallel corpora from the Parallel Universal Dependencies dataset. The ladderpath index is approximately invariant across the languages, and varies much less than the corpus length. This is more pronounced when all corpora are mapped to a unified binary representation, providing evidence for the equi-complexity hypothesis from a representation-independent perspective. We also observe trade-offs between character inventory size and corpus length, and between vocabulary-level and corpus-level reconstruction complexity, supporting the trade-off hypothesis that total complexity is conserved and redistributed across linguistic levels. The reusable substructures identified by the ladderpath approach, without any linguistic input, overlap with words and morphological components attested in the natural vocabulary. The hierarchical reuse captured by the ladderpath approach parallels the chunking mechanisms proposed in cognitive science, where the human cognitive system compresses linguistic input into nested, reusable units under shared memory and processing constraints. This connection between cognitive chunking and the ladderpath approach provides a new interpretation for the equi-complexity and trade-off hypotheses, grounding both in the shared cognitive architecture that underlies language processing across human languages.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.11531v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.14743v3cs.CL공통 태그 Language Modeling

음성-텍스트 언어 모델에서 생성 모달리티 간극 정량화

Quantifying the Generation Modality Gap in Speech-Text Language Models

순수 음성 언어 모델(speech language model)은 일관성 있는 콘텐츠를 생성하는 데 있어 텍스트 및 음성-텍스트 언어 모델에 비해 뒤처지는 경우가 많지만, 음성과 텍스트 시스템이 일반적으로 서로 다른 지표로 평가되고 서로 다른 데이터로 학습(training)되기 때문에 이러한 간극을 정량화하기는 어렵습니다. 본 연구에서는 연속적인 음향 특징(feature) 생성을 위한 플로우 매칭(flow matching)을 기반으로 하는 일련의 음성 언어 모델 계열에서 음성-텍스트 모달리티 간극(modality gap)을 연구합니다. 일치된 데이터 분포에서 학습되고 일치된 생성 환경에서 평가되는 음성 전용, 텍스트 전용, 음성-텍스트 언어 모델을 비교하는 통합 생성 기반 평가 스위트를 구축합니다. 생성된 음성을 전사하고 참조 언어 모델로 점수를 매겨 측정한 의미론적 일관성(semantic coherence), 음소 n-그램 분포 통계로 측정한 국소적 음소 구조, 화자 일관성 및 음향 품질, 감정 기반 분포 지표 등 여러 차원에 걸쳐 생성된 연속 발화를 평가합니다. 데이터셋 전반에 걸쳐 음성-텍스트 결합 모델링이 의미론적 일관성을 크게 향상시킨다는 점을 확인했습니다. 그러나 이러한 개선이 모든 지표에서 균일하지는 않습니다. 음소 수준 지표는 미미하게만 변화하고, 음성-텍스트 연속 생성물에서 화자 유사도와 예측 품질은 더 낮은 반면 감정 기반 분포 지표는 향상됩니다. 더 큰 규모의 음성 전용 모델과 비교할 때, 제안하는 음성-텍스트 모델은 전사 기반 의미론적 일관성에서 스케일링(scaling) 격차의 상당 부분을 좁히며, 이는 텍스트가 음성 언어 모델링에 효율적인 의미론적 학습 신호를 제공함을 시사합니다.

arXiv:2606.29858v3cs.CL공통 태그 Language Modeling

매끄러운 스케일링 법칙이 단계적 토큰 학습을 감추다

Smooth Scaling Laws Hide Stepwise Token Learning

언어 모델 손실은 모델 및 데이터 크기에 걸쳐 놀라울 정도로 규칙적인 스케일링 법칙을 따르지만, 집계 손실이 왜 거듭제곱 법칙 형태를 나타내는지는 여전히 불분명하다. 기존의 설명들은 이 규칙성을 자연어에서 패턴 난이도의 중꼬리(heavy-tailed) 스펙트럼에 귀인하는 경우가 많지만, 이 견해는 대규모 실제 데이터 학습에서 토큰 수준의 세밀도로 직접 검증된 바 없다. 우리는 스케일링 법칙을 개별 문맥화된 토큰의 국소적 학습 이벤트로 분해하는 토큰 수준 프레임워크를 제시한다. 토큰 손실 궤적을 시그모이드로 피팅함으로써, 토큰 학습이 국소적 전환에 집중되어 있음을 보이며, 이로부터 스케일링 법칙의 형태를 지배하는 학습 시간 스펙트럼이 도출됨을 확인한다. 현대적인 대규모 언어 모델(LLM) 아키텍처를 사용하여 크고 다양한 실제 언어 코퍼스에서 100회 이상의 사전학습 실행에 걸쳐—최대 60억 개의 파라미터와 3,000억 개의 학습 토큰으로 스케일업—측정된 학습 시간 스펙트럼은 학습 스텝 $T$, 데이터 스케일 $D$, 모델 스케일 $M$ 축을 따른 검증 손실 도함수를 정량적으로 재구성한다. 나아가 동일한 신호가 실행 가능함을 보인다. 토큰이 학습 가능해지는 시점에 따라 학습 분포를 재구성함으로써 최적화 궤적을 변경하고, 검증 손실 감소를 11% 가속화한다. 이러한 결과들은 스케일링 법칙이 주로 토큰 수준 학습 시간의 분포에 의해 지배된다는 직접적인 경험적 증거를 제공하며, 이 분포가 스케일링 동작을 설명하는 데 그치지 않고 학습 성능을 향상시키는 데에도 활용될 수 있음을 보인다.

arXiv:2607.23379v2cs.CL공통 태그 Language Modeling

활성화 오라클이 읽지 않는 법을 배울 때: 파인튜닝된 오라클의 개념별 사각지대

When Activation Oracles Learn Not to Read: Concept-Specific Blind Spots in Fine-Tuned Oracles

활성화 오라클(Activation Oracles, AOs)은 다른 모델의 내부 활성화에 대한 자연어 질문에 답하도록 학습된 언어 모델이다. 이들은 모델 상태에서 숨겨진 정보를 읽어내는 유연한 인터페이스를 제공하며, 특히 관련 정보가 내부적으로 표현되어 있지만 가시적 행동에서는 부재하거나 불완전한 경우에 유용하다. 그러나 AOs는 그 자체가 학습된 시스템이다. 이들의 답변은 표현된 정보의 중립적 판독이 아니라, 학습 데이터, 목표(objective), 그리고 학습된 보고(reporting) 행동에 의해 형성된다. 이를 통제된 금기어(Taboo Word) 추측 설정에서 연구한다. 여기서 피험 모델(subject model)은 직접적 공개를 피하면서 내부적으로 숨겨진 개념(concept)을 사용하도록 파인튜닝된다. 이러한 피험 모델에 대해 학습된 AO가 전문 판독자(specialist reader)가 될 것이라는 기대와 달리, 파인튜닝된 AO는 개념별 반판독자(concept-specific anti-reader)가 될 수 있음을 발견한다. 즉, 자신의 학습 동안 지속적으로 존재하는 개념을 선택적으로 회복하지 못한다. 이 실패는 단순히 피험 모델이나 오라클 표현에서 해당 개념이 부재하기 때문이라고 설명되지 않는다. 표적 개념은 오라클 내부에서 여전히 디코딩 가능하며, LogitLens 및 층(layer) 절제(ablation) 분석은 이 실패가 AO 판독(readout) 경로에서 발생함을 시사한다. 우리의 결과는 행동적 누출(behavioral leakage), 표현 수준의 디코딩 가능성(representation-level decodability), AO 언어화 가능성(AO-verbalizability)이 서로 분리될 수 있음을 보여주며, 학습된 해석 가능성(interpretability) 인터페이스에 대한 신뢰성 우려를 제기한다.

arXiv:2607.14106v2cs.CL공통 태그 Language Modeling

언어 모델링을 위한 토큰 시간 연속 확산

Token Time Continuous Diffusion for Language Modeling

본 논문에서는 토큰 시간 연속 확산(token time continuous diffusion, TTCD)을 소개한다. TTCD는 (a) 연속 공간에서 동작하며, 가우시안 노이즈를 최종 토큰 캔버스(token canvas)로 결정론적으로 매핑하고 추가 샘플링 없이 완료하는 새로운 확산 언어 모델이며, 중요하게도 (b) 토큰별 시간(per-token times)이라는 새로운 개념을 도입하여, 일부 토큰은 다른 토큰보다 더 빠른 속도로 노이즈에서 토큰으로 진행한다. 연속 공간 모델링은 TTCD가 여러 토큰의 병렬 샘플링을 피하도록 돕는다. 이는 순수하게 이산 공간에서만 반복하는 모델들이 높은 가속(speedup)에서 겪는 부정확성의 주요 원인이다. 토큰별 시간 개념은 TTCD가 조건부 생성(conditional generation)을 더 잘 모델링하도록 돕고, 더 확실한 토큰이 더 빠른 속도로 진행할 수 있게 하며, 정제(refinement) 과정에서 토큰 간 영향을 차별화할 수 있게 한다. TTCD는 높은 가속에서 이산 모델보다 우수한 성능을 보인다. OpenWebText에서 160M 매개변수 TTCD 모델을 학습한 뒤 자기 지식 증류(self-distill)를 수행했으며, 높은 가속에서 무조건부 생성 품질은 동일 데이터에서 학습하고 자기 지식 증류를 적용한 유사 크기의 기존 모델들과 비슷한 수준이고, 조건부 생성에서는 이들을 능가함을 확인했다. 수도쿠(Sudoku) 풀이에서도 유사한 성능 향상을 달성했다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.