arXiv:2502.16766

ATEB: Evaluating and Improving Advanced NLP Tasks for Text Embedding Models

Simeng Han, Frank Palma Gomez, Tu Vu, Zefei Li, Daniel Cer, Hansi Zeng, Chris Tar, Arman Cohan, Gustavo Hernandez Abrego

제출 2025-02-24

원문 초록

Traditional text embedding benchmarks primarily evaluate embedding models' capabilities to capture semantic similarity. However, more advanced NLP tasks require a deeper understanding of text, such as safety and factuality. These tasks demand an ability to comprehend and process complex information, often involving the handling of sensitive content, or the verification of factual statements against reliable sources. We introduce a new benchmark designed to assess and highlight the limitations of embedding models trained on existing information retrieval data mixtures on advanced capabilities, which include factuality, safety, instruction following, reasoning and document-level understanding. This benchmark includes a diverse set of tasks that simulate real-world scenarios where these capabilities are critical and leads to identification of the gaps of the currently advanced embedding models. Furthermore, we propose a novel method that reformulates these various tasks as retrieval tasks. By framing tasks like safety or factuality classification as retrieval problems, we leverage the strengths of retrieval models in capturing semantic relationships while also pushing them to develop a deeper understanding of context and content. Using this approach with single-task fine-tuning, we achieved performance gains of 8\% on factuality classification and 13\% on safety classification. Our code and data will be publicly available.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.28290v1cs.CL공통 태그 Retrieval, Semantic Textual Similarity, Information Retrieval, Semantic Similarity

기하학보다 계산: 의미 동일성은 임베딩에 담겨 전달되는 것이 아니라 계산된다

Computation Over Geometry: Meaning Identity Is Computed, Not Shipped in the Embeddings

의미 동일성(표현이 바뀐 뒤에도 두 문장이 같은 내용을 말하는지 여부)은 검색과 RAG에서 독립적으로 인코딩된 문장 벡터의 기하학적 사실로 취급된다. 본 논문은 고정된(frozen) 기성 인코더와 언어 모델에서는 그렇지 않음을 보인다. 동일성은 두 문장이 하나의 순전파를 공유할 때 계산되며, 해당 시스템들이 제공하는 임베딩 기하학의 속성이 아니다. 중첩(overlap)을 맞춘 PAWS-X에서 목적 특화 인코더(BGE, E5, GTE, MiniLM, E5-Mistral-7B)는 영어 confirm AUC가 0.55-0.65에 그친다(dense 최고치 0.70). Llama 3, Mistral, Qwen의 독립적으로 인코딩된 마지막 토큰 상태도 더 나은 성능을 보이지 못하며, 두 벡터의 후기 융합(late fusion)은 우연 수준에 가깝다. 반면 동일한 프로브를 결합된 순전파에 적용하면 1.5B에서 32B까지 0.90-0.96에 도달하고, 짝을 섞으면(partner shuffle) 성능이 붕괴하며, 중간 깊이에서 나타나고, 3B 무렵 0.94 부근에서 포화되며, GPT-2 XL에서는 더 약하게(0.76) 나타난다. 이러한 격차는 Llama 계열을 넘어 다른 인과적 언어 모델, 양방향 인코더(DeBERTa, RoBERTa), 인코더-디코더(Flan-T5, T5, BART)에서도 유지된다. 고정된 독립 인코딩 위의 고정형 또는 선형 리더는 동일성을 끝내 복원하지 못하며, 비선형 쌍(pair) 리더는 전체 49k 쌍의 PAWS 학습 분할에서만 일부를 복원한다(0.68-0.87). 기성 리랭커는 결과가 갈린다. BGE-reranker-large는 0.94에 도달하는 반면, MS-MARCO와 Jina는 0.55-0.64에 머문다. 독립적으로 학습된 모델 계열들이 동일한 관계를 계산하며, 1.5B 결합 리더는 레이블 없는 교사(teacher) 점수로부터 이를 지식 증류할 수 있지만, 교사 자신의 독립 벡터에 대한 어떤 선형 함수로도 이는 불가능하다. 바이 인코더(bi-encoder)를 PAWS에 맞게 파인튜닝할 수는 있으나(0.87-0.93), 전이 성능과 STS-B 성능이 저하된다. 코사인 유사도는 표현의 이웃 관계를 비교할 뿐이며, 동일성은 어느 쪽 문장 벡터의 속성도 아닌, 저렴하게 계산되는 연산자이다.

arXiv:2609.27770v1cs.CL공통 태그 Retrieval, Information Retrieval, Instruction Following

필터링을 통한 LLM 기반 자율 웹 에이전트 성능 향상

Improving LLM-based Autonomous Web Agents with Filtering

대규모 언어 모델(LLM) 기반의 자율 웹 에이전트는 다단계 추론 및 의사결정 능력을 바탕으로 다양한 웹 기반 작업을 자동화하여 상당한 주목을 받아왔다. 이러한 에이전트 개발에서 미해결 연구 과제 중 하나는 웹페이지 입력의 형식이다. 방대하고 종종 무관한 세부 정보를 포함하는 원시 HTML 소스 코드는 제한된 컨텍스트 윈도우(context window)를 가진 LLM에 어려움을 초래한다. 이러한 문제를 해결하기 위해, 본 연구에서는 먼저 WebArena (Zhou et al., 2023) 벤치마크에서 GPT-3.5 및 LLaMA-2-70B와 같은 기준선(baseline) 모델들을 재현하여 공통적인 실패 양상을 식별한다. 그런 다음 LLM 에이전트를 위해 무관한 문맥을 걸러내는 두 가지 검색 전략을 제안한다. 작업과의 관련성에 따라 HTML 요소들의 순위를 매기는 DeBERTa 기반 및 T5 기반 모델을 개발한다. 이들을 Mind2Web 궤적 데이터에서 파인튜닝(fine-tuning)한 후 WebArena로 전이한다. 실험 결과, DeBERTa 기반 모델은 WebArena에서 LLaMA-2-70B LLM 에이전트의 성공률을 1.97%에서 2.96%로 향상시키는 것으로 나타났다. 나아가, Mind2Web에서 0.52, WebArena에서 0.47의 재현율(recall)로 정답 요소를 검색할 수 있는 제로샷(zero-shot) ColBERT 기반 리트리버를 개발한다.

arXiv:2609.26086v1cs.CL공통 태그 Retrieval, Information Retrieval, Semantic Similarity

CoVeR: 에이전트형 검색에서 커버리지 기반 검증기 호출 라우팅

CoVeR: Coverage-Based Routing of Verifier Calls in Agentic Retrieval

에이전트형 검색(agentic retrieval) 시스템은 일련의 검색 쿼리를 발행하며, 각 단계에서 지금까지 수집한 증거가 검색을 멈추기에 충분한지 판단해야 한다. 이 판단을 LLM 검증기(verifier)나 프롬프트 판정기(prompt judge)에 위임하면 중단 시점 결정이 신뢰할 수 있게 되지만, 검증기가 매 검색 단계마다 계속 늘어나는 증거를 다시 처리해야 하므로 상당한 반복 비용이 발생한다. 본 논문은 이러한 호출 대부분을 답변 정확도를 실질적으로 변화시키지 않고 생략할 수 있음을 보인다. 고정된(frozen) 문장 임베딩 커버리지 마진(coverage margin)에 대한 단일 임계값만으로 증거가 아직 명백히 불완전한 상태를 탐지할 수 있으며, 검증기는 나머지 모호한 경우에만 호출된다. 우리는 이러한 게이트를 CoVeR(Coverage-based Verifier Routing, 커버리지 기반 검증기 라우팅)라고 부른다. 전체 규모 실험 이전에 평가 프로토콜을 고정한 상태에서 세 가지 멀티홉 QA 벤치마크를 대상으로 실험한 결과, CoVeR 게이트를 적용한 에이전트는 전체 예산(full-budget) 에이전트 및 항상 검증하는(always-verify) 기준선 모두와 EM 1점 미만의 차이 이내로 동등한 답변 정확도를 보였다. 이 방식은 검증기 호출을 62-68% 줄이며, 포화(saturated) 환경에서는 93%까지 줄인다. 증거 개수, 어휘 중첩(lexical overlap), BM25 관련도에 기반한 라우터는 단독으로 사용하거나 결합하여 학습하더라도 전반적인 트레이드오프가 더 열등했다. 또한 이 게이트는 재튜닝 없이 판정기(decider)와 에이전트 규모 전반에 걸쳐 전이되며, 그 드래프터(drafter)는 고정된 인코더 위에 얹은 921k 매개변수 헤드로 지식 증류(distillation)할 수 있어 라우팅 루프에 LLM이 전혀 필요하지 않다. 다만 동일한 신호가 검증 자체를 대체할 수는 없다. 주장과 일치하는 내용을 찾는 것이 그 주장이 뒷받침된다고 판단하는 것보다 훨씬 쉽기 때문이다.

arXiv:2609.26218v1cs.IR공통 태그 Retrieval, Information Retrieval, Semantic Similarity

학술 출판 네트워크에 대한 시맨틱 접근법: OpenAlex 데이터 기반 문서 벡터 표현 및 하이브리드 구조적-시맨틱 융합

A Semantic Approach to the Academic Publishing Network: Document Vector Representations and Hybrid Structural-Semantic Fusion over OpenAlex Data

학술 출판 네트워크에 대한 구조적 그래프 분석은 엔티티 간의 위상학적 관계를 포착하지만 연구 저작물의 내용은 파악하지 못합니다. 본 연구는 기존 구조적 접근법을 바탕으로 시맨틱 층(layer)과 매개변수화된 구조적-시맨틱 융합을 통해 이를 보완합니다. 우리는 과학 문헌을 인용 정보 기반 벡터 임베딩(SPECTER2)으로 표현하고, 고유한 OpenAlex ID를 키로 하여 임베디드 벡터 데이터베이스에 저장함으로써 그래프 층과 직접 연결되도록 합니다. 또한 시맨틱 유사도(임베딩의 코사인 유사도)와 구조적 유사도(서지 결합)를 특정 태스크에 따라 값이 선택되는 조정 가능한 가중치(weight) 알파(alpha)로 결합하는 모듈형 후기 융합 함수를 정의합니다. VSB - Technical University of Ostrava 코퍼스를 대상으로 두 가지를 보여줍니다. 즉, 인용 정보 기반 임베딩은 TF-IDF 기준선(baseline)보다 전문가가 구축한 OpenAlex 주제 분류 체계와 더 잘 일치하며, 추천 활용 사례에서는 가용 데이터에 따라 구조적, 시맨틱 및 결합된 신호가 서로 다른 체계에서 정보를 전달한다는 점입니다. 여기서 하이브리드 융합은 보편적으로 더 우수한 방법이라기보다는 태스크에 맞추어 상호 보완적인 신호를 제어하기 위한 명시적 메커니즘입니다. 우리는 재현 가능한 워크플로와 함께 전체 접근법을 apnet 라이브러리의 오픈 소스 확장으로 공개합니다.

arXiv:2609.26658v1cs.IR공통 태그 Retrieval, Information Retrieval, Semantic Similarity

텍스트를 통한 서로소 테이블의 발견 기반 통합

Discovery-Driven Integration of Disjoint Tables via Text

데이터 레이크 내에서 이종 데이터셋(heterogeneous dataset)을 통합하는 것은 중요한 도전 과제이며, 특히 조인(join)에 필요한 명시적 속성이 결여되어 있으나 의미론적으로 연관된 테이블의 경우 더욱 그렇습니다. 본 연구에서는 통합 전에 관련 소스와 누락된 관계 구조를 먼저 발견해야 하는 발견 기반 통합(Discovery-Driven Integration)을 다룹니다. 이러한 설정에서는 비정형 텍스트가 서로 다른 분리된 테이블들을 연결하는 증거를 제공합니다. 여기서 근본적인 도전 과제는 서로 다른 테이블의 개별 행들을 특정 문장을 통해 연결하는 세밀한 수준(fine-grained level)의 관계를 발견하는 것입니다. 우리는 이 작업을 텍스트 매개 조인 경로 발견(Text-Mediated Join Path Discovery)으로 정식화하고, 테이블 행과 문장의 맥락화된 표현(contextualized representation)을 학습하는 LOKI(Latent-space Optimization for Knowledge Integration)라는 수평적 양방향 교차 어텐션(cross-attention) 아키텍처를 제안합니다. 전역 테이블-텍스트 대조 학습 목표(contrastive objective)를 통해, 명시적인 국소적 지도(local supervision) 없이도 세밀한 행-문장 간의 연관성이 창발적으로 나타납니다. 기존의 멀티모달 발견 방법들은 대체로 조잡한 수준(coarse-grained)의 열-텍스트 연관성을 검색하는 데 그치며, 통합 시스템들은 행-텍스트 링크, 스키마 또는 쿼리가 미리 제공된다고 가정합니다. 반면 LOKI는 이러한 암시적 연관성을 명시적이고 해석 가능한 조인 경로로 변환하고, 이를 관계 일관적 그룹으로 구성하며, 문장 수준의 출처(provenance)를 갖춘 타입이 지정된 통합 테이블로 구체화(materialize)합니다. 실제 벤치마크에 대한 포괄적인 평가는 LOKI가 최첨단 멀티모달 데이터 발견 접근법들을 일관되게 능가하며, 직접적인 프롬프트 방식보다 대규모 언어 모델(LLM) API 비용을 최대 40배 절감하면서도 0.982의 매크로 타입 쌍 정밀도(macro typed-pair precision)로 타입 지정 통합 테이블을 구체화함을 보여줍니다.

arXiv:2609.23307v1cs.IR공통 태그 Retrieval, Semantic Textual Similarity, Information Retrieval

의미 기반 후보자-직무 매칭: 하이브리드 검색에서 밀집 임베딩 모델의 비교 평가

Semantic Candidate-Job Matching: A Comparative Evaluation of Dense Embedding Models in Hybrid Retrieval

본 논문은 대량 채용 워크플로에서 의미적 후보자-직무 매칭을 위한 밀집 임베딩 모델에 대한 비교 평가를 제시한다. 유입되는 직무 기술서는 LLM 기반 파싱을 통해 구조화된 영어 검색 텍스트와 언어별 키워드로 변환되며, 후보자 프로필은 의미적으로 강화된 이력서 표현으로 색인된다. 벡터 유사도와 전문(full-text) 관련성을 상호 순위 융합(RRF)으로 결합하는 통합 하이브리드 검색 파이프라인 안에서 EmbeddingGemma(base)와 Cached Multiple Negatives Ranking Loss(MNRL)로 미세조정한 EmbeddingGemma를 비교 평가하고, 배포된 직무-후보자 매칭 채점 파이프라인으로 점수를 매긴 배치 비교 평가 데이터셋에서 둘 다 MPNet 모델과 벤치마크한다. 또한 모델 개발 과정에서 검토한 대조(contrastive) 미세조정 목표의 더 넓은 집합(AnglE/CoSENT 스타일 정제 포함)을 수학적으로 상세히 기록하고, 선호 구성으로 Cached-MNRL-only 적응만 유지한 경험적 근거를 제시한다. 재현 가능한 모델 선택을 지원하기 위해 동일한 하이브리드 검색 프로토콜 하에서 표준 정보 검색 지표(재현율@K, mean reciprocal rank, nDCG)를 포함하는 더 넓은 평가 프레임워크를 정의하되, 본 논문에서 보고하는 평가에 실제로 사용한 지표는 미세조정 수렴 진단과 배포된 AI-Match 점수 및 독립적인 LLM-as-a-Judge 관련성 점수를 활용한 배치 비교 평가이며, 전체 프레임워크를 측정한 것처럼 암시하지 않고 이 범위를 명시적으로 밝힌다. 본 논문은 범용 임베딩 벤치마크와 기업 환경의 직무-후보자 매칭 제약 사이의 간극을 다루며, 현실적인 직무-후보자 검색 조건에서 임베딩 전략을 비교할 수 있는 구조화된 기반을 제공한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.