Unsupervised Sentence Representations as Word Information Series: Revisiting TF--IDF
원문 초록
Sentence representation at the semantic level is a challenging task for Natural Language Processing and Artificial Intelligence. Despite the advances in word embeddings (i.e. word vector representations), capturing sentence meaning is an open question due to complexities of semantic interactions among words. In this paper, we present an embedding method, which is aimed at learning unsupervised sentence representations from unlabeled text. We propose an unsupervised method that models a sentence as a weighted series of word embeddings. The weights of the word embeddings are fitted by using Shannon's word entropies provided by the Term Frequency--Inverse Document Frequency (TF--IDF) transform. The hyperparameters of the model can be selected according to the properties of data (e.g. sentence length and textual gender). Hyperparameter selection involves word embedding methods and dimensionalities, as well as weighting schemata. Our method offers advantages over existing methods: identifiable modules, short-term training, online inference of (unseen) sentence representations, as well as independence from domain, external knowledge and language resources. Results showed that our model outperformed the state of the art in well-known Semantic Textual Similarity (STS) benchmarks. Moreover, our model reached state-of-the-art performance when compared to supervised and knowledge-based STS systems.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
DALR: Dual-level Alignment Learning for Multimodal Sentence Representation Learning
Intrinsic vs. Extrinsic Evaluation of Czech Sentence Embeddings: Semantic Relevance Doesn't Help with MT Evaluation
기하학보다 계산: 의미 동일성은 임베딩에 담겨 전달되는 것이 아니라 계산된다
Computation Over Geometry: Meaning Identity Is Computed, Not Shipped in the Embeddings
의미 동일성(표현이 바뀐 뒤에도 두 문장이 같은 내용을 말하는지 여부)은 검색과 RAG에서 독립적으로 인코딩된 문장 벡터의 기하학적 사실로 취급된다. 본 논문은 고정된(frozen) 기성 인코더와 언어 모델에서는 그렇지 않음을 보인다. 동일성은 두 문장이 하나의 순전파를 공유할 때 계산되며, 해당 시스템들이 제공하는 임베딩 기하학의 속성이 아니다. 중첩(overlap)을 맞춘 PAWS-X에서 목적 특화 인코더(BGE, E5, GTE, MiniLM, E5-Mistral-7B)는 영어 confirm AUC가 0.55-0.65에 그친다(dense 최고치 0.70). Llama 3, Mistral, Qwen의 독립적으로 인코딩된 마지막 토큰 상태도 더 나은 성능을 보이지 못하며, 두 벡터의 후기 융합(late fusion)은 우연 수준에 가깝다. 반면 동일한 프로브를 결합된 순전파에 적용하면 1.5B에서 32B까지 0.90-0.96에 도달하고, 짝을 섞으면(partner shuffle) 성능이 붕괴하며, 중간 깊이에서 나타나고, 3B 무렵 0.94 부근에서 포화되며, GPT-2 XL에서는 더 약하게(0.76) 나타난다. 이러한 격차는 Llama 계열을 넘어 다른 인과적 언어 모델, 양방향 인코더(DeBERTa, RoBERTa), 인코더-디코더(Flan-T5, T5, BART)에서도 유지된다. 고정된 독립 인코딩 위의 고정형 또는 선형 리더는 동일성을 끝내 복원하지 못하며, 비선형 쌍(pair) 리더는 전체 49k 쌍의 PAWS 학습 분할에서만 일부를 복원한다(0.68-0.87). 기성 리랭커는 결과가 갈린다. BGE-reranker-large는 0.94에 도달하는 반면, MS-MARCO와 Jina는 0.55-0.64에 머문다. 독립적으로 학습된 모델 계열들이 동일한 관계를 계산하며, 1.5B 결합 리더는 레이블 없는 교사(teacher) 점수로부터 이를 지식 증류할 수 있지만, 교사 자신의 독립 벡터에 대한 어떤 선형 함수로도 이는 불가능하다. 바이 인코더(bi-encoder)를 PAWS에 맞게 파인튜닝할 수는 있으나(0.87-0.93), 전이 성능과 STS-B 성능이 저하된다. 코사인 유사도는 표현의 이웃 관계를 비교할 뿐이며, 동일성은 어느 쪽 문장 벡터의 속성도 아닌, 저렴하게 계산되는 연산자이다.
LMEB: 장기 기억 임베딩 벤치마크
LMEB: Long-horizon Memory Embedding Benchmark
기억 임베딩(memory embedding)은 OpenClaw와 같은 기억 증강 시스템에 있어 핵심적인 요소이지만, 현재의 텍스트 임베딩 벤치마크에서는 그 평가가 충분히 이루어지지 않고 있다. 기존 벤치마크는 전통적인 패시지 검색에만 초점을 맞추어, 단편적이고 문맥 의존적이며 시간적으로 분산된 정보를 다루는 장기 기억 검색 태스크에 대한 모델의 능력을 평가하지 못한다. 이러한 공백을 해소하기 위해, 우리는 복잡한 장기 기억 검색에 대한 임베딩 모델 평가를 위한 포괄적 프레임워크인 장기 기억 임베딩 벤치마크(LMEB, Long-horizon Memory Embedding Benchmark)를 소개한다. LMEB는 에피소딕(episodic), 대화(dialogue), 시맨틱(semantic), 절차적(procedural)의 네 가지 기억 유형에 걸쳐 22개의 데이터셋과 193개의 제로샷 검색 태스크로 구성된다. 이 기억 유형들은 추상화 수준과 시간적 의존성 측면에서 서로 다르며, 실세계의 다양한 과제를 반영하는 기억 검색의 각기 다른 측면을 포착한다. 우리는 수억 개에서 100억 개 규모의 파라미터를 가진 15개의 널리 사용되는 임베딩 모델을 평가하였다. 실험 결과, (1) LMEB는 적절한 수준의 난이도를 제공하며, (2) 더 큰 모델이 항상 더 나은 성능을 보이지는 않고, (3) LMEB와 MTEB는 상호 직교하는 능력을 측정함을 확인하였다. 이는 모든 기억 검색 태스크에서 우수한 성능을 발휘할 수 있는 범용 모델이 아직 등장하지 않았으며, 전통적인 패시지 검색에서의 높은 성능이 반드시 장기 기억 검색으로 이어지지는 않음을 시사한다. LMEB는 기억 임베딩 평가의 핵심적인 공백을 채우고 장기적·문맥 의존적 검색의 미래 발전을 지원하는 표준화되고 재현 가능한 프레임워크를 제공한다.
아랍어를 위한 양자 조합 자연어 처리: 회로 토폴로지의 문법, 형태론, 단어 의미
Quantum Compositional NLP for Arabic: Grammar, Morphology, and Word Sense in Circuit Topology
우리는 pregroup grammar 기반 양자 조합 자연어 처리(quantum compositional natural language processing, QNLP)를 아랍어에 최초로 적용한다. 아랍어는 형태론적으로 풍부하고 자유 어순(free-word-order) 언어로, 그 구조적 복잡성이 양자 회로에서의 의미 조합 이론에 대한 독특하게 까다로운 시험대를 제공한다. 우리 시스템은 아랍어 문장을 문법적 구조를 반영하는 토폴로지의 양자 회로로 변환한다. 주어, 동사, 목적어는 양자 게이트가 되며, 이들 사이의 타입 의존성(pregroup grammar)이 해당 게이트들이 어떻게 연결되는지를 결정한다. 우리는 어순, 형태론적 시제, 동사 의미 모호성 해소를 아우르는 세 가지 통제 실험을 수행하고, AraVec(아랍어 단어 임베딩) 및 AraBERT(사전학습된 아랍어 트랜스포머)를 포함한 고전적 베이스라인과 양자 회로 방법을 비교한다.
MTEB-PT: 브라질 포르투갈어 텍스트 임베딩 벤치마크
MTEB-PT: A Text Embedding Benchmark for Brazilian Portuguese
포르투갈어 텍스트 임베딩에는 전용 벤치마크가 존재하지 않는다. 현재 평가는 영어 MS MARCO를 번역한 코퍼스나 단편적인 다국어 커버리지에 의존하며, 자국어 태스크는 분산되어 있고 통합되지 않은 상태다. 우리는 MTEB-PT를 소개한다. 이는 7개 카테고리(분류, 다중 레이블 분류, 쌍 분류, 의미적 텍스트 유사도, 클러스터링, 검색, 리랭킹)에 걸쳐 22개의 브라질 포르투갈어 네이티브 태스크로 구성된 벤치마크로, 포르투갈어로 작성되거나 수집된 데이터만을 허용하며 번역 데이터는 설계상 제외된다. 우리는 2,300만에서 270억 파라미터 규모의 93개 모델을 평가했다: 오픈 가중치 모델 73개와 상용 폐쇄형 API 20개. 리더보드와 함께 모든 주요 비교에 대한 통계적 분석 층을 제공한다: 태스크별 부트스트랩 신뢰구간, 쌍별 부트스트랩 유의성 검정, 문항반응이론(Item Response Theory)을 응용한 태스크·인스턴스 수준의 판별력 분석(각 태스크가 모델을 얼마나 명확하게 구분하는지), 그리고 리더보드 간 상관관계 분석. 세 가지 주요 발견이 눈에 띈다. 벤치마크는 약 12개 수준의 모델 티어를 명확히 구분하지만, 상위 6개 모델은 통계적으로 순위를 정하기 어려울 만큼 근접해 있다. 공개 라이선스를 가진 자체 호스팅 가능한 모델이 최상위 티어에 도달함으로써, 우수한 포르투갈어 임베딩 품질을 위해 상용 API가 필수적이지 않음을 보여준다. 또한 전 세계 다국어 리더보드에서의 모델 순위는 포르투갈어 순위를 중간 수준으로만 예측한다(공유 모델 55개에 대한 스피어만 상관계수 rho = 0.75; 한 모델은 다국어 리더보드에서 3위이지만 본 벤치마크에서는 49위), 따라서 네이티브 벤치마크는 다국어 리더보드가 측정하지 못하는 것을 측정한다. 우리는 모든 태스크, 코드, 그리고 공개 리더보드를 공개하여 실무자들이 네이티브 근거를 바탕으로 포르투갈어 임베딩 모델을 선택할 수 있도록 한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.