Deconstructing Word Embeddings
원문 초록
A review of Word Embedding Models through a deconstructive approach reveals their several shortcomings and inconsistencies. These include instability of the vector representations, a distorted analogical reasoning, geometric incompatibility with linguistic features, and the inconsistencies in the corpus data. A new theoretical embedding model, Derridian Embedding, is proposed in this paper. Contemporary embedding models are evaluated qualitatively in terms of how adequate they are in relation to the capabilities of a Derridian Embedding.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
RSD: 언어 모델 은닉 상태 감사를 위한 이동 국소 삼각 차트
RSD: Moving Local Triangular Charts for Auditing Language-Model Hidden States
우리는 언어 모델 은닉 상태에 대한 이동 국소 삼각 차트 감사(audit)로서 관계적 의미 분해(Relational Semantic Decomposition, RSD)를 연구한다. 하나의 목표 단어가 반복 등장할 때, RSD는 층 또는 토큰 시간 $t$에서 공유된 세 앵커 멤버십 차트 $S_t$를 적합한다. 은닉 상태 채널은 $X_t\approx S_tC_t$를 사용한다; 불변 판독값(readout) $M_t=S_tS_t^\top$은 유도된 등장 공-멤버십 관계이며, $R_t=X_t-S_tC_t$는 적합된 루트 차트가 차트 밖에 남기는 것을 기록한다. 더 넓은 공동 감사(joint audit)는 어텐션에서 유도된 등장 관계와 같은 관계 데이터 $A_t\approx S_tB_tS_t^\top$에 동일한 멤버십 차트를 재사용한다. 현재 GPT-2 증거는 Word-in-Context(WiC) 레이블을 외부 동의어 대 이의어 참조 관계로 사용하는 $X$-채널 은닉 상태 감사이다. 전체 WiC train에서 루트 차트는 자격을 갖춘 53개 목표 단어 중 16개를 통과한다; 이는 GPT-2 과제 정확도가 아니라 감사 커버리지(audit coverage)이다. 토큰 시간 및 쌍(pair) 수준 진단은 주요 영역(regime)을 보여준다: \texttt{make}와 \texttt{break}는 목표 상태에서 정렬(align)되고, \texttt{drive}와 \texttt{stay}는 소규모 탐색적 사례에서 오른쪽 문맥 이후 개선되며, \texttt{play}는 최종 동의어 쌍이 더 가깝지 않고 잔차(residual) 불일치가 더 큰 국소화된 루트 차트 실패로 남아 있다. 그 결과 주장은 진단적이다: RSD는 의미(sense) 관계가 루트 공-멤버십에서 어디에 가시적인지, 그리고 어떤 실패가 잔차 분기 후보 또는 어텐션 채널 의무(attention-channel obligations)가 되는지 보고한다.
Enhancing Homophily-Heterophily Separation: Relation-Aware Learning in Heterogeneous Graphs
Chaining Event Spans for Temporal Relation Grounding
Characterizing Linguistic Shifts in Croatian News via Diachronic Word Embeddings
A MISMATCHED Benchmark for Scientific Natural Language Inference
MonkeyOCR: Document Parsing with a Structure-Recognition-Relation Triplet Paradigm
토론
이 논문과 연결된 포럼 글이 아직 없습니다.