arXiv:2609.09953v2 cs.CL

SALT를 조금 더해 다국어 토큰 표현 개선

Improving Cross-Lingual Token Representations by Adding a Pinch of SALT

Guillem Ram\'irez

제출 2026-09-09

한국어 초록

다국어 문장 인코더는 수백 개 언어에 걸친 확장 가능한 전이(transfer)를 가능하게 하며, 번역 마이닝(translation mining)과 저자원(low-resource) 환경에서의 제로샷(zero-shot) 학습 같은 응용을 뒷받침한다. 문장 수준 정렬(alignment)을 위해 학습되었지만, 환각(hallucination) 탐지와 시퀀스 태깅(sequence tagging) 같은 토큰 수준 과제에도 점점 더 많이 쓰이면서 학습과 사용 사이의 불일치가 드러난다. 우리는 기존 문장 인코더에 스팬(span) 수준 감독(supervision)을 주입하여 토큰 표현을 개선하는 경량 사후 학습(post-training) 방법인 SALT를 제안한다. 다섯 개의 다국어 토큰 수준 벤치마크(benchmark)에서 SALT는 네 곳에서 전체 최고 성능을 달성하며, 대안적인 미세조정(fine-tuning) 전략과 경쟁 인코더를 능가한다. 또한 다국어 검색 및 분류(classification) 과제에서 문장 수준 성능도 개선한다. 이 결과는 스팬 수준 감독이 토큰 표현과 문장 표현 모두를 개선하는 데 효과적인 신호임을 보여 준다.

원문 초록

Cross-lingual sentence encoders enable scalable transfer across hundreds of languages, powering applications such as translation mining and zero-shot learning in low-resource settings. Although trained for sentence-level alignment, they are increasingly also applied to token-level tasks such as hallucination detection and sequence tagging, exposing a mismatch between training and usage. We propose SALT, a lightweight post-training method that improves token representations by injecting span-level supervision into existing sentence encoders. Across five multilingual token-level benchmarks, SALT achieves the best overall results on four of them, outperforming alternative fine-tuning strategies and competitive encoders. It also improves sentence-level performance on cross-lingual retrieval and classification tasks. These results demonstrate that span-level supervision is an effective signal for improving both token and sentence representations.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2609.09953v2제출 시각 미확인
  2. arXiv:2609.09953v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.