arXiv:1710.00205

Bag-of-Vector Embeddings of Dependency Graphs for Semantic Induction

Diana Nicoleta Popa, James Henderson

제출 2017-09-30

원문 초록

Vector-space models, from word embeddings to neural network parsers, have many advantages for NLP. But how to generalise from fixed-length word vectors to a vector space for arbitrary linguistic structures is still unclear. In this paper we propose bag-of-vector embeddings of arbitrary linguistic graphs. A bag-of-vector space is the minimal nonparametric extension of a vector space, allowing the representation to grow with the size of the graph, but not tying the representation to any specific tree or graph structure. We propose efficient training and inference algorithms based on tensor factorisation for embedding arbitrary graphs in a bag-of-vector space. We demonstrate the usefulness of this representation by training bag-of-vector embeddings of dependency graphs and evaluating them on unsupervised semantic induction for the Semantic Textual Similarity and Natural Language Inference tasks.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.28290v1cs.CL공통 태그 Natural Language Inference, Semantic Textual Similarity

기하학보다 계산: 의미 동일성은 임베딩에 담겨 전달되는 것이 아니라 계산된다

Computation Over Geometry: Meaning Identity Is Computed, Not Shipped in the Embeddings

의미 동일성(표현이 바뀐 뒤에도 두 문장이 같은 내용을 말하는지 여부)은 검색과 RAG에서 독립적으로 인코딩된 문장 벡터의 기하학적 사실로 취급된다. 본 논문은 고정된(frozen) 기성 인코더와 언어 모델에서는 그렇지 않음을 보인다. 동일성은 두 문장이 하나의 순전파를 공유할 때 계산되며, 해당 시스템들이 제공하는 임베딩 기하학의 속성이 아니다. 중첩(overlap)을 맞춘 PAWS-X에서 목적 특화 인코더(BGE, E5, GTE, MiniLM, E5-Mistral-7B)는 영어 confirm AUC가 0.55-0.65에 그친다(dense 최고치 0.70). Llama 3, Mistral, Qwen의 독립적으로 인코딩된 마지막 토큰 상태도 더 나은 성능을 보이지 못하며, 두 벡터의 후기 융합(late fusion)은 우연 수준에 가깝다. 반면 동일한 프로브를 결합된 순전파에 적용하면 1.5B에서 32B까지 0.90-0.96에 도달하고, 짝을 섞으면(partner shuffle) 성능이 붕괴하며, 중간 깊이에서 나타나고, 3B 무렵 0.94 부근에서 포화되며, GPT-2 XL에서는 더 약하게(0.76) 나타난다. 이러한 격차는 Llama 계열을 넘어 다른 인과적 언어 모델, 양방향 인코더(DeBERTa, RoBERTa), 인코더-디코더(Flan-T5, T5, BART)에서도 유지된다. 고정된 독립 인코딩 위의 고정형 또는 선형 리더는 동일성을 끝내 복원하지 못하며, 비선형 쌍(pair) 리더는 전체 49k 쌍의 PAWS 학습 분할에서만 일부를 복원한다(0.68-0.87). 기성 리랭커는 결과가 갈린다. BGE-reranker-large는 0.94에 도달하는 반면, MS-MARCO와 Jina는 0.55-0.64에 머문다. 독립적으로 학습된 모델 계열들이 동일한 관계를 계산하며, 1.5B 결합 리더는 레이블 없는 교사(teacher) 점수로부터 이를 지식 증류할 수 있지만, 교사 자신의 독립 벡터에 대한 어떤 선형 함수로도 이는 불가능하다. 바이 인코더(bi-encoder)를 PAWS에 맞게 파인튜닝할 수는 있으나(0.87-0.93), 전이 성능과 STS-B 성능이 저하된다. 코사인 유사도는 표현의 이웃 관계를 비교할 뿐이며, 동일성은 어느 쪽 문장 벡터의 속성도 아닌, 저렴하게 계산되는 연산자이다.

arXiv:2609.24625v1cs.AI공통 태그 Word Embeddings, Natural Language Inference

글로벌 보건 문헌을 위한 맞춤형 개체명 인식 및 주제 분류

Custom Named Entity Recognition and Topic Classification for Global Health Publications

주석이 달린 데이터와 연산 자원이 제한된 환경에서 글로벌 보건 문헌을 위한 자연어 처리(NLP) 모델을 어떻게 선정하고 적응시켜야 하는가? 본 학위논문은 의미론적 태그 발견, 개체명 인식(NER), 다중 레이블 주제 분류에 대한 실험을 통해 이러한 과제를 조사한다. 먼저, 점진적으로 커지는 전문 코퍼스로 학습된 skip-gram word2vec 모델들을 BioWordVec과 비교하여 코퍼스 크기와 도메인 문맥이 태그 발견에 미치는 영향을 평가한다. 어휘 커버리지와 정성적 평가는 더 넓은 커버리지가 반드시 더 유용한 도메인 특화 연관성으로 이어지지는 않음을 나타낸다. 이어 분석은 개체 추출로 전환되어, 1,000개의 주석이 달린 문장에서 합성곱 spaCy 모델들과 RoBERTa 기반 트랜스포머를 비교한다. 관대한 점수 산정 프로토콜 하에서 트랜스포머는 5~6초 대신 82초가 소요되지만 합성곱 모델의 0.65~0.69에 비해 0.80의 micro-F1을 달성한다. 이러한 트레이드오프는 합성곱 모델의 미세조정과 NCBI 질병 코퍼스에서 81.33%의 테스트 F1을 달성하는 질병 인식기의 통합을 동기부여한다. PDF 전처리, 개체 필터링, MeSH 강화와 결합되어, 최종 파이프라인은 문서 수준 색인을 지원한다. 개체 추출을 주제별 주석으로 보완하기 위해 50개 주제와 1,000개의 수작업 제작 테스트 문장에 걸쳐 MiniLM 기반 퓨샷 분류와 BART-MNLI 제로샷 추론을 비교한다. 부분적 수동 평가 하에서 BART-MNLI는 59% 대비 95.2%의 단일 레이블 정확도를 달성하며, 보고된 다중 레이블 정확도는 각각 88%와 32%이다. 그러나 더 높은 추론 비용은 실제 통합을 제한한다. 본 연구 결과는 도메인 특화와 경량 적응이 실질적인 가치를 제공하는 영역과, 트랜스포머의 정확도가 더 높은 추론 비용을 정당화하는 영역을 보여주며, 자원 제약 하에서 지식 시스템을 구축하기 위한 실증적 기반을 제공한다.

arXiv:2603.12572v5cs.CL공통 태그 Word Embeddings, Semantic Textual Similarity

LMEB: 장기 기억 임베딩 벤치마크

LMEB: Long-horizon Memory Embedding Benchmark

기억 임베딩(memory embedding)은 OpenClaw와 같은 기억 증강 시스템에 있어 핵심적인 요소이지만, 현재의 텍스트 임베딩 벤치마크에서는 그 평가가 충분히 이루어지지 않고 있다. 기존 벤치마크는 전통적인 패시지 검색에만 초점을 맞추어, 단편적이고 문맥 의존적이며 시간적으로 분산된 정보를 다루는 장기 기억 검색 태스크에 대한 모델의 능력을 평가하지 못한다. 이러한 공백을 해소하기 위해, 우리는 복잡한 장기 기억 검색에 대한 임베딩 모델 평가를 위한 포괄적 프레임워크인 장기 기억 임베딩 벤치마크(LMEB, Long-horizon Memory Embedding Benchmark)를 소개한다. LMEB는 에피소딕(episodic), 대화(dialogue), 시맨틱(semantic), 절차적(procedural)의 네 가지 기억 유형에 걸쳐 22개의 데이터셋과 193개의 제로샷 검색 태스크로 구성된다. 이 기억 유형들은 추상화 수준과 시간적 의존성 측면에서 서로 다르며, 실세계의 다양한 과제를 반영하는 기억 검색의 각기 다른 측면을 포착한다. 우리는 수억 개에서 100억 개 규모의 파라미터를 가진 15개의 널리 사용되는 임베딩 모델을 평가하였다. 실험 결과, (1) LMEB는 적절한 수준의 난이도를 제공하며, (2) 더 큰 모델이 항상 더 나은 성능을 보이지는 않고, (3) LMEB와 MTEB는 상호 직교하는 능력을 측정함을 확인하였다. 이는 모든 기억 검색 태스크에서 우수한 성능을 발휘할 수 있는 범용 모델이 아직 등장하지 않았으며, 전통적인 패시지 검색에서의 높은 성능이 반드시 장기 기억 검색으로 이어지지는 않음을 시사한다. LMEB는 기억 임베딩 평가의 핵심적인 공백을 채우고 장기적·문맥 의존적 검색의 미래 발전을 지원하는 표준화되고 재현 가능한 프레임워크를 제공한다.

arXiv:2607.04581v1cs.CL공통 태그 Word Embeddings, Semantic Textual Similarity

MTEB-PT: 브라질 포르투갈어 텍스트 임베딩 벤치마크

MTEB-PT: A Text Embedding Benchmark for Brazilian Portuguese

포르투갈어 텍스트 임베딩에는 전용 벤치마크가 존재하지 않는다. 현재 평가는 영어 MS MARCO를 번역한 코퍼스나 단편적인 다국어 커버리지에 의존하며, 자국어 태스크는 분산되어 있고 통합되지 않은 상태다. 우리는 MTEB-PT를 소개한다. 이는 7개 카테고리(분류, 다중 레이블 분류, 쌍 분류, 의미적 텍스트 유사도, 클러스터링, 검색, 리랭킹)에 걸쳐 22개의 브라질 포르투갈어 네이티브 태스크로 구성된 벤치마크로, 포르투갈어로 작성되거나 수집된 데이터만을 허용하며 번역 데이터는 설계상 제외된다. 우리는 2,300만에서 270억 파라미터 규모의 93개 모델을 평가했다: 오픈 가중치 모델 73개와 상용 폐쇄형 API 20개. 리더보드와 함께 모든 주요 비교에 대한 통계적 분석 층을 제공한다: 태스크별 부트스트랩 신뢰구간, 쌍별 부트스트랩 유의성 검정, 문항반응이론(Item Response Theory)을 응용한 태스크·인스턴스 수준의 판별력 분석(각 태스크가 모델을 얼마나 명확하게 구분하는지), 그리고 리더보드 간 상관관계 분석. 세 가지 주요 발견이 눈에 띈다. 벤치마크는 약 12개 수준의 모델 티어를 명확히 구분하지만, 상위 6개 모델은 통계적으로 순위를 정하기 어려울 만큼 근접해 있다. 공개 라이선스를 가진 자체 호스팅 가능한 모델이 최상위 티어에 도달함으로써, 우수한 포르투갈어 임베딩 품질을 위해 상용 API가 필수적이지 않음을 보여준다. 또한 전 세계 다국어 리더보드에서의 모델 순위는 포르투갈어 순위를 중간 수준으로만 예측한다(공유 모델 55개에 대한 스피어만 상관계수 rho = 0.75; 한 모델은 다국어 리더보드에서 3위이지만 본 벤치마크에서는 49위), 따라서 네이티브 벤치마크는 다국어 리더보드가 측정하지 못하는 것을 측정한다. 우리는 모든 태스크, 코드, 그리고 공개 리더보드를 공개하여 실무자들이 네이티브 근거를 바탕으로 포르투갈어 임베딩 모델을 선택할 수 있도록 한다.

arXiv:2606.29571v1cs.CL공통 태그 Word Embeddings, Semantic Textual Similarity

비등방성이 텍스트 임베딩의 코사인 대 순위 지표를 결정한다

Anisotropy Decides Cosine vs. Rank Metrics for Text Embeddings

두 텍스트 임베딩을 비교하는 표준 방법은 코사인 유사도이다. 일부 연구들은 다른 지표가 더 나은 성능을 보인다고 보고하지만, 언제, 왜 그런지를 결정하는 기하학적 조건을 명확히 밝히지는 못했다. 우리는 포괄적인 실증 연구를 통해 두 가지 모두를 규명한다: 7개 데이터셋에 걸쳐, 소형 문장 트랜스포머부터 70억 매개변수 대규모 언어 모델까지 19개 인코더에 대해 19개의 매개변수 없는 유사도 지표를 평가하였다. 답은 기하학적이다. 인코더가 분산을 모든 방향에 고르게 분포시키는 경우, 코사인이 최선의 매개변수 없는 선택이며 어떤 다른 지표도 실용적인 마진 차이를 보이지 않는다. 분산이 소수의 지배적인 방향으로 집중되는 경우, 즉 비등방성(anisotropy)으로 알려진 특성이 있는 경우, 순위 기반 및 L1형 지표가 코사인보다 명확한 마진으로 우수하다. 절대적인 성능 향상은 크지 않지만, 해당 인코더에서 코사인이 낮은 값에서 출발하기 때문에 상대적 개선은 상당하며, 평균 약 20%이고 코사인이 가장 약한 경우에 가장 크다. 이를 결정하는 것은 임베딩 공간의 기하학적 특성이지 모델의 학습 방식이 아니다: 두 가지가 서로 다른 결과를 보이는 경우, 지표는 기하학을 따른다. 단일 지배 차원이 보유하는 분산의 비율이라는 하나의 수치가, 19개 전체 인코더에 걸쳐 대안 지표들이 얼마나 도움이 되는지를 순위 상관관계 0.86, 선형 상관관계 0.95로 예측한다. 이것이 단순한 상관관계가 아닌 원인임을 검증하기 위해 지배적인 방향들을 투영하여 제거하였더니, 코사인은 회복되고 다른 지표들의 이점은 거의 사라졌으나, 이는 처음부터 비등방성이었던 인코더에서만 나타났다. 이 효과는 크기 기반이 아닌 방향성에 기반한 것으로, 모든 벡터를 단위 길이로 정규화해도 유지된다. 따라서 매개변수 없는 지표들 중에서, 코사인은 인코더가 잘 분산되어 있는 경우라면 올바른 도구이며, 이는 검색에 흔히 배포되는 파인튜닝된 임베더를 포함한다. 또한 코사인이 적합하지 않은 경우를 판별하기 위한 단일 수치 진단법을 제시한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.