PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2512.23065v4cs.CL

TabiBERT: 터키어를 위한 대규모 ModernBERT 기반 모델 및 통합 벤치마크

TabiBERT: A Large-Scale ModernBERT Foundation Model and A Unified Benchmark for Turkish

BERT의 도입으로 인코더 전용 트랜스포머(transformer) 모델은 자연어 처리(NLP) 분야의 기반 패러다임으로 자리 잡았습니다. 인코더 전용 모델은 텍스트 생성보다 문맥 표현과 낮은 추론(inference) 비용이 더 중요한 분류(classification), 태깅, 검색 작업에서 여전히 표준 도구로 활용되고 있으나, 터키어에는 ModernBERT에 집약된 최신 기술(회전 위치 임베딩(RoPE), FlashAttention, 개선된 정규화(normalization))을 적용하여 처음부터(from scratch) 학습(training)된 단일 언어 인코더가 부재했습니다. 이에 본 논문에서는 ModernBERT 아키텍처를 기반으로 웹 텍스트(72%), 학술 논문(19%), 소스 코드(6%), 수학 콘텐츠(0.3%)로 구성된 865억 8천만 토큰 규모의 다중 도메인 코퍼스에서 샘플링한 1조 개의 토큰을 처음부터 사전학습한 단일 언어 터키어 인코더인 TabiBERT를 소개합니다. 이 모델은 기존 터키어 BERT 모델의 16배에 달하는 8,192개 토큰의 컨텍스트 길이를 지원하며, 긴 컨텍스트에서 ModernBERT 아키텍처가 지닌 효율성을 그대로 계승합니다. 엄격하고 재현 가능한 평가를 위해, 표준화된 데이터 분할과 평가 프로토콜을 갖춘 8개 작업 범주에 걸친 27개 데이터셋으로 구성되고 0-100 척도의 GLUE 스타일 매크로 평균으로 요약되는 벤치마크인 TabiBench를 제시합니다. TabiBERT는 8개 범주 중 5개에서 터키어 모델들을 앞서며, 기존 최고 성능 모델인 BERTurk를 8개 중 6개 범주에서 능가합니다. 이러한 성능 향상은 질의응답(+9.55 F1)과 코드 검색(+2.41 NDCG@10)에 집중된 반면, 4개의 단문 텍스트 범주는 포화 상태에 가깝습니다. TabiBERT의 평균 점수는 77.28점으로 BERTurk의 75.66점을 상회하며, 다국어 모델인 mmBERT는 파라미터 수가 2배, 학습 토큰 수가 3배이고 터키어 입력당 토큰 수가 41% 더 많은 조건에서 78.98점을 기록했습니다. 향후 터키어 인코더 연구를 위한 투명하고 재현 가능한 기반으로서 모델 가중치, 학습 설정 및 평가 코드를 공개합니다.