PyTorchKR Papers

최신 논문

총 3편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2512.23065v4cs.CL

TabiBERT: 터키어를 위한 대규모 ModernBERT 기반 모델 및 통합 벤치마크

TabiBERT: A Large-Scale ModernBERT Foundation Model and A Unified Benchmark for Turkish

BERT의 도입으로 인코더 전용 트랜스포머(transformer) 모델은 자연어 처리(NLP) 분야의 기반 패러다임으로 자리 잡았습니다. 인코더 전용 모델은 텍스트 생성보다 문맥 표현과 낮은 추론(inference) 비용이 더 중요한 분류(classification), 태깅, 검색 작업에서 여전히 표준 도구로 활용되고 있으나, 터키어에는 ModernBERT에 집약된 최신 기술(회전 위치 임베딩(RoPE), FlashAttention, 개선된 정규화(normalization))을 적용하여 처음부터(from scratch) 학습(training)된 단일 언어 인코더가 부재했습니다. 이에 본 논문에서는 ModernBERT 아키텍처를 기반으로 웹 텍스트(72%), 학술 논문(19%), 소스 코드(6%), 수학 콘텐츠(0.3%)로 구성된 865억 8천만 토큰 규모의 다중 도메인 코퍼스에서 샘플링한 1조 개의 토큰을 처음부터 사전학습한 단일 언어 터키어 인코더인 TabiBERT를 소개합니다. 이 모델은 기존 터키어 BERT 모델의 16배에 달하는 8,192개 토큰의 컨텍스트 길이를 지원하며, 긴 컨텍스트에서 ModernBERT 아키텍처가 지닌 효율성을 그대로 계승합니다. 엄격하고 재현 가능한 평가를 위해, 표준화된 데이터 분할과 평가 프로토콜을 갖춘 8개 작업 범주에 걸친 27개 데이터셋으로 구성되고 0-100 척도의 GLUE 스타일 매크로 평균으로 요약되는 벤치마크인 TabiBench를 제시합니다. TabiBERT는 8개 범주 중 5개에서 터키어 모델들을 앞서며, 기존 최고 성능 모델인 BERTurk를 8개 중 6개 범주에서 능가합니다. 이러한 성능 향상은 질의응답(+9.55 F1)과 코드 검색(+2.41 NDCG@10)에 집중된 반면, 4개의 단문 텍스트 범주는 포화 상태에 가깝습니다. TabiBERT의 평균 점수는 77.28점으로 BERTurk의 75.66점을 상회하며, 다국어 모델인 mmBERT는 파라미터 수가 2배, 학습 토큰 수가 3배이고 터키어 입력당 토큰 수가 41% 더 많은 조건에서 78.98점을 기록했습니다. 향후 터키어 인코더 연구를 위한 투명하고 재현 가능한 기반으로서 모델 가중치, 학습 설정 및 평가 코드를 공개합니다.

arXiv:2606.28999v1cs.CL

BERTomelo: 포르투갈어 인코더의 최강 파트너

BERTomelo: Your Portuguese Encoder Best Friend

인코더는 특히 깊은 문맥적 이해가 요구되는 다양한 자연어 처리(NLP) 태스크에서 최신 기술 수준을 대표하게 되었다. 다국어 모델이 폭넓은 언어 커버리지를 제공하는 반면, 특정 언어의 고유한 어휘적·통사적 특성을 포착하기 위해서는 단일 언어 전용 인코더가 필수적이다. 그러나 포르투갈어의 경우, BERTimbau와 Albertina 같은 기존 단일 언어 옵션들은 최근의 아키텍처 혁신을 따라가지 못하고 있으며, 확장성과 효율성 면에서 영어 벤치마크에 비해 뒤처지는 경우가 많다. 본 연구는 포르투갈어에 특화하여 처음부터 사전학습된 차세대 단일 언어 인코더 BERTomelo를 소개한다. BERTomelo는 ModernBERT 아키텍처를 활용하여 기존 모델의 한계를 극복하며, 1,024 토큰 컨텍스트 윈도우와 FlashAttention 및 교번 어텐션(alternating attention) 메커니즘과 같은 하드웨어 수준의 최적화를 갖춘 Base 및 Large 버전을 제공한다. 이 모델은 1억 600만 건의 문서로 구성된 대규모 고품질 포르투갈어 코퍼스 ClassiCC-PT로 학습되어 해당 언어의 현대적 용법과의 우수한 정렬을 보장한다. 실험 결과, BERTomelo는 기존 포르투갈어 인코더를 능가할 뿐만 아니라, STS 및 NER 등의 다운스트림 태스크에서 대규모 다국어 모델에 비해 더욱 견고하고 효율적인 대안을 제공함을 입증한다.

arXiv:2606.22722v1cs.CL

moBERTo: ModernBERT 지속 사전학습 기반 포르투갈어 현대 인코더

moBERTo: A Modern Encoder for Portuguese via Continued Pretraining of ModernBERT

ModernBERT-base를 FineWeb2 기반 120억 토큰 말뭉치에 600억 토큰 지속 사전학습(continued pretraining)하여 만든 포르투갈어 인코더 moBERTo를 제안하며, 포르투갈어 토크나이저·서브워드 매칭 임베딩 전이·8,192 토큰 장문맥 사후학습을 결합한 변형이 세 포르투갈어 검색 벤치마크의 평균 리랭킹 nDCG@10과 PLUE-PT에서 최고 성능을 기록한다. 정보 검색·장문맥 검색·문서 분류·개체명 인식·자연어 이해 평가와 어블레이션을 통해 지속 사전학습이 장문맥 능력 보존에 유리하고, 인코더 전용 아키텍처가 판별 작업에서 더 큰 디코더 전용 모델과 경쟁력을 유지함을 보인다.