더 어려운 텍스트 임베딩 벤치마크(HTEB): 1차원적 정적 강건성을 넘어서
The Harder Text Embedding Benchmark (HTEB): Beyond One-dimensional Static Robustness
MTEB와 같은 임베딩 벤치마크는 모델당 하나의 점수를 보고하며, 이는 강건성을 정적이고 스칼라적인 속성으로 암묵적으로 취급한다. 우리는 모델이 서로 다른 유형의 변형에 다르게 반응하므로 임베딩 강건성은 다차원적이며, 정적 벤치마크에 가려진 실패를 드러내기 위해서는 동적 평가가 필요하다고 주장한다. 우리는 평가 시점에 LLM을 사용해 입력을 확률적으로 변환함으로써, 실용적으로 해석 가능한 세 가지 축(어휘/문체, 길이, 언어)에 걸쳐 모델의 강건성을 시험하는 동적 평가 프레임워크인 Harder Text Embedding Benchmark(HTEB)를 제안한다. 영어 하위 샘플에 대한 4,800건의 개별 사람 평가로 검증된 변환 하에서, 42개 언어를 포괄하는 32개 데이터셋에서 16개의 오픈 가중치 임베딩 모델을 평가하고, 여기에 스페인어 원문 평가와 쌍 수준 레이블 보존에 대한 탐색적 STS-B 연구를 보완하여 세 가지 패턴을 발견했다. (1) 모델은 축별로 특정하며 부분적으로 분리된 강건성 프로필을 보인다. (2) 세 모델 계열 전반에서 규모를 키우면 절대 점수는 높아지지만 원본 평가와 변환된 평가 간의 격차는 좁혀지지 않는다. 여기서 스케일링은 특히 언어 축을 개선하는 경향이 있다. (3) 영어 데이터셋은 다국어 데이터셋보다 HTEB 변환에 더 민감하다. 이는 HTEB가 배포 환경과 관련된 축에 따라 모델의 강점과 약점을 식별함을 보여 주며, 현재의 임베딩 벤치마크에 도전하고 다차원적이며 동적인 강건성 평가를 지지한다. 우리는 HTEB를 실행하는 코드를 공개한다.