uri.edu

이 이메일 도메인이 관측된 논문 1건

arXiv:2606.11531v1cs.CL

반복되는 패턴의 계층적 재사용을 통한 언어 복잡도 측정

Measuring language complexity from hierarchical reuse of recurring patterns

우리는 알고리즘 정보 이론에 기반한 언어 복잡도 측정치로서 ladderpath 지수를 소개합니다. 이는 반복되는 하위 구조의 계층적 재사용을 통해 시퀀스를 재구성하는 데 필요한 최소 단계를 계산하며, 콜모고로프 복잡도(Kolmogorov complexity)와 관련되지만 구별되는 정확히 계산 가능하면서도 제한된 형태의 알고리즘 압축 가능성을 포착합니다. 우리는 Parallel Universal Dependencies 데이터셋의 21개 병렬 말뭉치에 ladderpath 접근법을 적용합니다. Ladderpath 지수는 언어 간에 거의 불변이며, 말뭉치 길이보다 훨씬 적게 변동합니다. 이는 모든 말뭉치가 통합된 이진 표현으로 매핑될 때 더욱 뚜렷해지며, 표현 독립적 관점에서 등가 복잡도 가설(equi-complexity hypothesis)을 뒷받침하는 증거가 됩니다. 또한 문자 집합 크기와 말뭉치 길이 사이, 그리고 어휘 수준과 말뭉치 수준의 재구성 복잡도 사이의 상충 관계(trade-off)를 관찰했는데, 이는 총 복잡도가 보존되어 언어적 수준 전반에 걸쳐 재분배된다는 상충 가설을 지지합니다. Ladderpath 접근법이 어떠한 언어적 입력 없이 식별한 재사용 가능한 하위 구조는 자연 어휘에서 확인된 단어 및 형태소적 구성 요소와 일치합니다. Ladderpath 접근법이 포착한 계층적 재사용은 인지 과학에서 제안된 청킹 메커니즘(chunking mechanisms)과 유사한데, 이는 인간의 인지 시스템이 공유된 메모리 및 처리 제약 조건 하에서 언어적 입력을 중첩된 재사용 가능한 단위로 압축하는 방식입니다. 인지적 청킹과 ladderpath 접근법 사이의 이러한 연결은 등가 복잡도 및 상충 가설에 대한 새로운 해석을 제공하며, 이 두 가설이 모든 인간 언어의 언어 처리를 기반으로 하는 공유된 인지 아키텍처에 뿌리를 두고 있음을 보여줍니다.