arXiv:2009.02459

Bio-inspired Structure Identification in Language Embeddings

Hongwei, Zhou, Oskar Elek, Pranav Anand, Angus G. Forbes

제출 2020-09-05

원문 초록

Word embeddings are a popular way to improve downstream performances in contemporary language modeling. However, the underlying geometric structure of the embedding space is not well understood. We present a series of explorations using bio-inspired methodology to traverse and visualize word embeddings, demonstrating evidence of discernible structure. Moreover, our model also produces word similarity rankings that are plausible yet very different from common similarity metrics, mainly cosine similarity and Euclidean distance. We show that our bio-inspired model can be used to investigate how different word embedding techniques result in different semantic outputs, which can emphasize or obscure particular interpretations in textual data.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.11870v2cs.CL공통 태그 Language Modeling, Word Embeddings

Augustinian BabyLM: 시범적 정의가 소형 언어 모델에 가르칠 수 있는 것과 없는 것

Augustinian BabyLM: What Ostensive Definition Can and Cannot Teach a Small Language Model

언어 모델은 보통 무작위 단어 임베딩으로 학습을 시작한다. 'banana'가 무엇을 의미하는지는 반드시 학습 코퍼스에서 배워야 한다. 나는 성 아우구스티누스의 단어 학습 관—지시(ostension)를 통한 의미 부여—를 1천만 단어로 학습한 소형 마스크드 언어 모델(DeBERTa)에 구현한다. 학습 전에 시각적으로 그라운딩된 토큰은 자신이 라벨하는 이미지 영역에서 유도한 임베딩을 받고, 다른 토큰은 무작위로 시작한다. 시각적 초기화는 학습 종료 시점까지 지속되는 측정 가능한 흔적을 남긴다. 한편 추상적 문법 지식을 탐색하는 대부분의 BabyLM 벤치마크에서는 그 효과가 드러나지 않으며, 시각적 초기화는 그곳에서 성능에 영향을 주지 않는다. 유일한 제로샷 예외는 객체-속성 지식(COMPS)으로, 모든 구성에서 시딩(seeding)이 도움이 된다. 이 결과를 이어가기 위해, 색·재질·크기·형태 지식을 시험하고 항목별 학습 빈도와 시드 여부를 포함한 Visual-Property Swap 벤치마크의 코퍼스 맞춤 버전을 구축한다. 여기서 시각 시드(vision-seeded) 모델은 지속적이고 시드가 재현되는 이점을 보인다. 기능어와 추상 어휘도 강한 시각 시드를 받아 학습 내내 유지하며, 학습 목적 함수가 이를 활용한다. 모든 시드에서 이 단어들에 대한 홀드아웃 마스크 예측 손실이 감소한다. 그러나 내가 실행한 어떤 벤치마크도 이를 포착하지 못한다. 이를 잡아낼 평가가 무엇인지는 여전히 열린 질문이다.

arXiv:2609.25797v1cs.CL공통 태그 Language Modeling, Word Embeddings

인간 및 AI 생성 언어의 양자 구조에 관한 코멘트 arXiv:2512.07881 및 arXiv:2601.06104에 대한 답변

Reply to comments arXiv:2512.07881 and arXiv:2601.06104 on quantum structure in human and AI-generated language

본 논문에서는 인간 언어에서의 양자역학적 통계(arXiv:2407.14924) 및 AI 생성 언어의 양자 구조(arXiv:2511.21731)에 관한 본 연구진의 연구에 대해 M. Sienicki와 K. Sienicki가 작성한 코멘트(arXiv:2512.07881)와 K. Sienicki가 작성한 코멘트(arXiv:2601.06104)에 답변한다. 저자들의 면밀한 검토에 감사하며, 본 연구진이 주요 비판점으로 생각하는 다음 내용들을 다룬다: 대규모 언어 모델(LLM)을 활용한 실험에 사용된 프로토콜의 탐색적 특성; 얽힘(entanglement) 식별에 있어 주변 법칙 위반과 기본 맥락성(Contextuality-by-Default) 기준의 역할; 단독으로 고려된 보스-아인슈타인(Bose-Einstein) 피팅의 제한적인 진단 가치; 가장 빈번한 단어에 가장 낮은 에너지 준위를 할당하는 의미; 그리고 LLM이 사용하는 벡터 공간과 양자 상태 공간 간의 관계. 또한 보고된 CHSH 값에는 영향을 주지 않는 arXiv:2511.21731의 표 3에 있는 오타를 정정한다.

arXiv:2607.21231v1cs.CL공통 태그 Language Modeling, Word Embeddings

점진적 크래밍: 신뢰할 수 있는 토큰 압축과 그것이 드러내는 것

Progressive Cramming: Reliable Token Compression and What It Reveals

토큰 크래밍은 시퀀스를 학습된 임베딩으로 압축하여 거의 완벽한 재구성을 달성하지만, 고정된 토큰 예산과 99% 정확도 임계값 때문에 잔여 오류가 최적화 실패를 반영하는 것인지 근본적 한계를 반영하는 것인지 불분명하다. 우리는 목표 접두 문맥을 토큰 단위로 점진적으로 확장하고, 고정된 최적화 예산 내에서 재구성이 더 이상 달성 불가능해질 때에만 중단하는 점진적 크래밍(progressive cramming)을 제안한다. 점진적 궤적은 임베딩 공간에서 저차원 구조를 차지한다. 크래밍된 임베딩을 앞에 붙이면 원본 접두 문맥이 컨텍스트에 있음에도 객관식 벤치마크에서 중간 수준이지만 일관된 정확도 하락을 유발하며, 생성형 평가에서는 능력이 거의 완전히 붕괴된다. 인과적 어텐션 차단(attention-knockout) 개입은 이러한 성능 저하를 모델 초기 층에서의 임베딩 상호작용으로 추적한다. 이러한 결과는 점진적 크래밍을 압축 한계 연구 도구로 자리매김하며, 전이 가능한 의미론이 아닌 취약한 조향을 통해 달성 가능한 완벽한 재구성만으로는 의미 있는 압축에 충분하지 않음을 보여준다.

arXiv:2607.15232v1cs.CL공통 태그 Language Modeling, Word Embeddings

사전학습 LLM의 제자리 토크나이저 확장

In-Place Tokenizer Expansion for Pre-trained LLMs

사전학습 시작 시점에 고정된 토크나이저는 사전학습 말뭉치에 비례하여 어휘를 할당하며, 당시의 배포 우선순위를 반영한다. 그러한 우선순위가 바뀌면, 이후에 추가된 언어는 단어당 훨씬 더 많은 토큰으로 분할되어, 해당 언어 사용자의 지연 시간, 연산량, 에너지 소비를 증가시킬 수 있다. 클라우드 모델은 임베딩과 LM-head 행렬이 매개변수의 작은 부분을 차지하기 때문에 넓은 어휘를 수용할 수 있다. 소형 모델에서는 이러한 행렬이 토큰당 디코딩 대역폭의 상당한 비중을 차지하므로, 온디바이스 모델은 작은 어휘를 탑재하고 고정된 언어 집합 밖의 분할을 감수한다. 우리는 토크나이저 확장을 제시한다. 이는 모델 제작자가 토크나이저 설계를 통제할 때 사전학습된 모델의 토크나이저를 업그레이드하기 위한 제자리 방식이다. 우리는 다국어 말뭉치에서 기존 토크나이저의 BPE 병합을 이어가므로, 대부분의 소스 토큰은 단일 토큰으로 변경 없이 유지되고 모든 새 토큰은 소스 토큰들로의 정확한 분해를 갖는다. 유지된 임베딩 행은 변경 없이 복사하고, 새 행은 해당 소스 서브토큰 임베딩의 평균으로 초기화한다. 2단계 적응—임베딩만 학습한 뒤 전체 모델 지속 사전학습—을 통해 소스 체크포인트 품질을 회복한다. 우리는 이 방식을 8B 매개변수 전문가 혼합(MoE) 모델인 LFM2-8B-A1B의 지속 사전학습 체크포인트에 적용하여 128K 토크나이저를 갖는 LFM2.5-8B-A1B를 만드는 데 기여했다. 확장된 토크나이저는 힌디어와 베트남어를 소스 대비 약 $2.4\times$ 및 $2.6\times$ 더 적은 토큰으로 인코딩한다(태국어에서는 최대 $4.0\times$). 이러한 감소와 더 큰 어휘의 측정된 토큰당 비용을 결합하여, 참조 기기 전반에서 해당 언어에 대해 문자당 $2.2$-$3.7\times$ 디코딩 속도 향상을 추정한다. 우리는 모델 가중치와 확장된 토크나이저를 공개하고, 이 방식을 형성한 부정적 발견을 보고한다.

arXiv:2607.11515v1cs.CL공통 태그 Language Modeling, Language Modelling

종카어 다음 단어 예측 시스템

Dzongkha Next Word Prediction System

종카어(Dzongkha)는 부탄의 국가 언어로서 국내에서 광범위하게 사용되는 언어이다. 공식 문서, 경전, 기타 문학 작품은 문화적 가치를 보존하기 위해 종카어로 작성된다. 그러나 종카어 문서화는 스크립트의 복잡성, 음절당 다수의 키 입력 필요성, 효율적인 입력 도구의 부족으로 인해 어렵고 시간이 많이 소요되는 과정이다. 종카어에 대해 가능한 단어 목록을 예측하고 표시하는 즉각적인 시스템이 이 문제의 해결책이다. 본 프로젝트는 키 입력 횟수를 줄여 종카어 타이핑을 최대한 편리하게 만드는 것을 주요 목표로 한다. 데이터셋은 DCDD에서 수집하였으며 총 100,000개의 문장, 1,331,282개의 단어, 28,344개의 고유 단어로 구성된다. 데이터 전처리는 모든 영숫자 문자 제거, 토큰화, N-gram 시퀀스 생성 및 패딩을 통해 수행되었다. 학습에 선택된 세 가지 모델은 LSTM, Bi-LSTM, GRU이다. 학습 과정에는 모델의 하이퍼파라미터 미세조정이 포함되었다. GRU는 경량이면서 대규모 데이터셋을 처리할 수 있어 74.03%의 정확도로 가장 우수한 성능을 보였으며 과적합 문제도 해결하였다.

arXiv:2607.11703v1cs.CL공통 태그 Language Modeling, Language Modelling

대규모 언어 모델에서의 생성과 지각: 토큰 확률 접근법

Production and Perception in LLMs: A Token Probability Approach

언어 생성과 지각 간의 비대칭성은 심리언어학에서 잘 문서화되어 있다. 대규모 언어 모델(LLM)이 기능적으로 유사한 구분을 나타내는지는 여전히 열린 질문으로 남아 있으며, 특히 LLM이 입력 및 출력 처리 모두에 동일한 기저 메커니즘(다음 토큰 예측)을 사용한다는 점에서 더욱 그러하다. 이 탐색적 연구에서 우리는 메타언어적 프롬프팅 대신 직접적인 토큰 확률 측정을 통해 생성-지각 구분을 조작화한다. 기본 Llama-3.1-8B 모델을 사용하여 생성 프롬프트로 시를 생성한 후, 동일한 토큰들을 재구성된 생성 프롬프트와 지각 지향 프롬프트로 재점수화하였다. 네 가지 생성 프롬프트와 세 가지 지각 프롬프트를 사용한 확장 실험에서, 생성-지각 거리는 생성-생성 거리를 일관되고 실질적으로 초과하였으며, 조건 간 범위가 겹치지 않았고 전체 평균 비율은 약 1.8이었다. 생성-생성 통제 조건에서의 거의 천장에 달하는 상관관계는 이 효과가 프롬프트 표면 변이가 아닌 의사소통적 프레이밍에 특이적임을 확인해 주며, 해당 효과가 기본 및 인스트럭션 튜닝 변형 모두를 포함하는 다섯 가지 오픈-가중치 모델(Llama-3.1-8B, EuroLLM-9B, gemma-2-9b-it, Mistral-7B-Instruct-v0.3, Qwen2.5-7B-Instruct)에서 재현됨을 보였다. 시간적 분석에서는 지각 프롬프트가 시퀀스 초반에 가장 강한 영향을 미치며, 생성된 컨텍스트가 축적됨에 따라 발산이 감소하지만 이 감소의 구체적인 형태는 프롬프트 쌍마다 다양한 것으로 나타났다. 이러한 결과들은 디코더 전용 아키텍처 내에서도 프롬프트 프레이밍만으로 LLM 확률 분포에 생성-지각 구분이 유도됨을 시사한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.