더 어려운 텍스트 임베딩 벤치마크(HTEB): 1차원적 정적 강건성을 넘어서
The Harder Text Embedding Benchmark (HTEB): Beyond One-dimensional Static Robustness
한국어 초록
MTEB와 같은 임베딩 벤치마크는 모델당 하나의 점수를 보고하며, 이는 강건성을 정적이고 스칼라적인 속성으로 암묵적으로 취급한다. 우리는 모델이 서로 다른 유형의 변형에 다르게 반응하므로 임베딩 강건성은 다차원적이며, 정적 벤치마크에 가려진 실패를 드러내기 위해서는 동적 평가가 필요하다고 주장한다. 우리는 평가 시점에 LLM을 사용해 입력을 확률적으로 변환함으로써, 실용적으로 해석 가능한 세 가지 축(어휘/문체, 길이, 언어)에 걸쳐 모델의 강건성을 시험하는 동적 평가 프레임워크인 Harder Text Embedding Benchmark(HTEB)를 제안한다. 영어 하위 샘플에 대한 4,800건의 개별 사람 평가로 검증된 변환 하에서, 42개 언어를 포괄하는 32개 데이터셋에서 16개의 오픈 가중치 임베딩 모델을 평가하고, 여기에 스페인어 원문 평가와 쌍 수준 레이블 보존에 대한 탐색적 STS-B 연구를 보완하여 세 가지 패턴을 발견했다. (1) 모델은 축별로 특정하며 부분적으로 분리된 강건성 프로필을 보인다. (2) 세 모델 계열 전반에서 규모를 키우면 절대 점수는 높아지지만 원본 평가와 변환된 평가 간의 격차는 좁혀지지 않는다. 여기서 스케일링은 특히 언어 축을 개선하는 경향이 있다. (3) 영어 데이터셋은 다국어 데이터셋보다 HTEB 변환에 더 민감하다. 이는 HTEB가 배포 환경과 관련된 축에 따라 모델의 강점과 약점을 식별함을 보여 주며, 현재의 임베딩 벤치마크에 도전하고 다차원적이며 동적인 강건성 평가를 지지한다. 우리는 HTEB를 실행하는 코드를 공개한다.
원문 초록
Embedding benchmarks like MTEB report a single score per model, implicitly treating robustness as a static, scalar property. We argue that embedding robustness is multidimensional, since models respond differently to different types of variation, and requires dynamic evaluation to expose failures hidden by static benchmarks. We introduce the Harder Text Embedding Benchmark (HTEB), a dynamic evaluation framework that challenges model robustness along three practically interpretable axes (Lexical/Stylistic, Length and Language) by stochastically transforming inputs at evaluation time with an LLM. Evaluating 16 open-weight embedding models on 32 datasets covering 42 languages under transformations validated by 4,800 individual human ratings on an English subsample, supplemented by a Spanish-source evaluation and an exploratory STS-B study of pair-level label preservation, we find three patterns: (1) Models exhibit specific, partly decoupled robustness profiles across axes. (2) Across three model families, scale increases absolute scores but does not close the gap between original and transformed evaluations. Here, scaling tends to improve specifically the Language axis. (3) English datasets are more sensitive to HTEB transformations than multilingual datasets. This demonstrates that HTEB identifies strengths and weaknesses of models along deployment-relevant axes, challenging current embedding benchmarks and arguing for multidimensional, dynamic robustness evaluation. We make the code to run HTEB publicly available.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2605.28190v2제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.