수작업으로 설계된 인스턴스 특징 대신 사전학습(pre-training)된 텍스트 임베딩(embedding)을 활용하는 특징 없는 알고리즘 선택 접근법인 ZeroFolio를 제안합니다. 이 방법은 원시 인스턴스 파일을 일반 텍스트로 읽어 사전학습된 임베딩 모델로 임베딩한 후, 가중치 적용 k-최근접 이웃(weighted k-nearest neighbors)을 통해 알고리즘을 선택합니다. 우리의 접근법은 사전학습된 임베딩이 어떠한 도메인 지식이나 태스크별 학습(training) 없이도 문제 인스턴스를 구별할 수 있다는 관찰에 기반합니다. ZeroFolio는 텍스트 기반 인스턴스 형식을 가진 모든 문제 도메인에 적용할 수 있습니다. 7개 도메인(SAT, MaxSAT, QBF, ASP, CSP, MIP 및 그래프 문제)에 걸친 11개 ASlib 시나리오에서 접근법을 평가합니다. ZeroFolio는 11개 시나리오 중 9개에서 수작업 특징으로 학습된 랜덤 포레스트(random forest)보다 우수한 성능을 보이며, 종종 큰 폭의 성능 향상을 기록하고, 그중 8개 시나리오에서는 모든 직렬화 시드(serialization seed)에 대해 뛰어난 성능을 보입니다. 시나리오별로 튜닝된 랜덤 포레스트를 상대로도 11개 시나리오 중 8개에서 승리합니다. 2015 ICON 챌린지에서 공개된 AutoFolio 결과가 있는 3개 시나리오에서, ZeroFolio는 시나리오별 튜닝 없이도 AutoFolio와 근소한 마진 내의 성능을 달성합니다. SAT12-ALL에 대한 절제 연구(ablation study)는 역거리 가중치(inverse-distance weighting)와 라인 셔플링이 성능을 향상시킴을 보여줍니다. 나아가 직렬화 시드에 대한 접근법의 민감도를 분석합니다. 랜덤 포레스트가 더 강력한 SAT12-ALL 시나리오의 경우, 소프트 보팅(soft voting)을 통해 두 방식을 결합함으로써 추가적인 성능 향상을 얻을 수 있습니다.
포르투갈어 텍스트 임베딩에는 전용 벤치마크가 존재하지 않는다. 현재 평가는 영어 MS MARCO를 번역한 코퍼스나 단편적인 다국어 커버리지에 의존하며, 자국어 태스크는 분산되어 있고 통합되지 않은 상태다. 우리는 MTEB-PT를 소개한다. 이는 7개 카테고리(분류, 다중 레이블 분류, 쌍 분류, 의미적 텍스트 유사도, 클러스터링, 검색, 리랭킹)에 걸쳐 22개의 브라질 포르투갈어 네이티브 태스크로 구성된 벤치마크로, 포르투갈어로 작성되거나 수집된 데이터만을 허용하며 번역 데이터는 설계상 제외된다. 우리는 2,300만에서 270억 파라미터 규모의 93개 모델을 평가했다: 오픈 가중치 모델 73개와 상용 폐쇄형 API 20개. 리더보드와 함께 모든 주요 비교에 대한 통계적 분석 층을 제공한다: 태스크별 부트스트랩 신뢰구간, 쌍별 부트스트랩 유의성 검정, 문항반응이론(Item Response Theory)을 응용한 태스크·인스턴스 수준의 판별력 분석(각 태스크가 모델을 얼마나 명확하게 구분하는지), 그리고 리더보드 간 상관관계 분석. 세 가지 주요 발견이 눈에 띈다. 벤치마크는 약 12개 수준의 모델 티어를 명확히 구분하지만, 상위 6개 모델은 통계적으로 순위를 정하기 어려울 만큼 근접해 있다. 공개 라이선스를 가진 자체 호스팅 가능한 모델이 최상위 티어에 도달함으로써, 우수한 포르투갈어 임베딩 품질을 위해 상용 API가 필수적이지 않음을 보여준다. 또한 전 세계 다국어 리더보드에서의 모델 순위는 포르투갈어 순위를 중간 수준으로만 예측한다(공유 모델 55개에 대한 스피어만 상관계수 rho = 0.75; 한 모델은 다국어 리더보드에서 3위이지만 본 벤치마크에서는 49위), 따라서 네이티브 벤치마크는 다국어 리더보드가 측정하지 못하는 것을 측정한다. 우리는 모든 태스크, 코드, 그리고 공개 리더보드를 공개하여 실무자들이 네이티브 근거를 바탕으로 포르투갈어 임베딩 모델을 선택할 수 있도록 한다.
Text embeddings are standard for semantic similarity tasks, yet their evaluation remains an open challenge. Current benchmarks are static, cover only a limited set of languages, are often domain-specific, susceptible to overfitting, and poorly representative of low-resource languages. To address these limitations, we introduce ALEE, a framework that extends Sentence Smith (Li et al., 2025) to the cross-lingual and paragraph level. ALEE uses Abstract Meaning Representations (AMR) to generate English minimal pairs with controlled, fine-grained semantic shifts, which are paired with translations in target languages. This approach enables targeted diagnostics for models in any language with English parallel data. We conduct a large-scale empirical study across a diverse set of embedding models and 275+ languages spanning three parallel datasets. On ALEE, performance varies substantially across languages, text lengths, and linguistic phenomena, exposing persistent gaps in cross-lingual semantic representation that track language prevalence in training resources and subword tokenization. We release ALEE at https://github.com/Andrian0s/any-lang-embed-eval
두 텍스트 임베딩을 비교하는 표준 방법은 코사인 유사도이다. 일부 연구들은 다른 지표가 더 나은 성능을 보인다고 보고하지만, 언제, 왜 그런지를 결정하는 기하학적 조건을 명확히 밝히지는 못했다. 우리는 포괄적인 실증 연구를 통해 두 가지 모두를 규명한다: 7개 데이터셋에 걸쳐, 소형 문장 트랜스포머부터 70억 매개변수 대규모 언어 모델까지 19개 인코더에 대해 19개의 매개변수 없는 유사도 지표를 평가하였다. 답은 기하학적이다. 인코더가 분산을 모든 방향에 고르게 분포시키는 경우, 코사인이 최선의 매개변수 없는 선택이며 어떤 다른 지표도 실용적인 마진 차이를 보이지 않는다. 분산이 소수의 지배적인 방향으로 집중되는 경우, 즉 비등방성(anisotropy)으로 알려진 특성이 있는 경우, 순위 기반 및 L1형 지표가 코사인보다 명확한 마진으로 우수하다. 절대적인 성능 향상은 크지 않지만, 해당 인코더에서 코사인이 낮은 값에서 출발하기 때문에 상대적 개선은 상당하며, 평균 약 20%이고 코사인이 가장 약한 경우에 가장 크다. 이를 결정하는 것은 임베딩 공간의 기하학적 특성이지 모델의 학습 방식이 아니다: 두 가지가 서로 다른 결과를 보이는 경우, 지표는 기하학을 따른다. 단일 지배 차원이 보유하는 분산의 비율이라는 하나의 수치가, 19개 전체 인코더에 걸쳐 대안 지표들이 얼마나 도움이 되는지를 순위 상관관계 0.86, 선형 상관관계 0.95로 예측한다. 이것이 단순한 상관관계가 아닌 원인임을 검증하기 위해 지배적인 방향들을 투영하여 제거하였더니, 코사인은 회복되고 다른 지표들의 이점은 거의 사라졌으나, 이는 처음부터 비등방성이었던 인코더에서만 나타났다. 이 효과는 크기 기반이 아닌 방향성에 기반한 것으로, 모든 벡터를 단위 길이로 정규화해도 유지된다. 따라서 매개변수 없는 지표들 중에서, 코사인은 인코더가 잘 분산되어 있는 경우라면 올바른 도구이며, 이는 검색에 흔히 배포되는 파인튜닝된 임베더를 포함한다. 또한 코사인이 적합하지 않은 경우를 판별하기 위한 단일 수치 진단법을 제시한다.
Reddit 정신 건강 커뮤니티 28개에서 Qwen3 임베딩(0.6B·4B)의 표현 유사성 분석(RSA)과 교란 요인 통제를 통해, 범주 분리성만으로는 전문가 증상 구조 복원을 보장할 수 없음을 보인다. 사전학습 임베딩은 전문가 구조와 측정 가능한 정렬을 보이고 미세조정·대규모 모델이 세밀한 수준의 정렬을 강화하며, VAD·LIWC·문체·주제 분포를 통제한 뒤에도 잔여 정렬이 남아 LLM 임베딩이 전문가 관련 범주 기하학을 부분적으로 복원할 수 있음을 시사한다.