arXiv:2606.22722v1 cs.CL

moBERTo: ModernBERT 지속 사전학습 기반 포르투갈어 현대 인코더

moBERTo: A Modern Encoder for Portuguese via Continued Pretraining of ModernBERT

Thiago Laitz, Thales Sales Almeida, João Guilherme Alves Santos, Giovana Kerche Bonás

제출 2026-06-21

한국어 초록

인코더 전용 트랜스포머 모델은 프로덕션 자연어 처리(NLP) 파이프라인에서 여전히 필수적이다. 본 논문은 ModernBERT-base 체크포인트를 600억 토큰(120억 토큰 말뭉치에 대해 5 에포크, FineWeb2에서 큐레이션하고 교육·STEM 분류기로 필터링)에 걸쳐 지속 사전학습하여 얻은 ModernBERT의 포르투갈어 적응 모델인 moBERTo를 소개한다. 로터리 위치 임베딩, 교대 로컬-글로벌 어텐션, Flash Attention, 언패딩을 포함한 원래 아키텍처를 유지한다. moBERTo를 정보 검색(최대 8,192 토큰의 장문맥 검색 포함), 문서 분류, 개체명 인식, 자연어 이해에 걸쳐 평가한다. 포르투갈어 토크나이저, 서브워드 매칭 임베딩 전이, 장문맥 사후 학습을 결합한 최상의 변형은 세 가지 포르투갈어 검색 벤치마크에서 평균 리랭킹 nDCG@10 최고치를 달성하고 PLUE-PT에서 최고 성능을 기록한다. 어블레이션 연구를 통해 (i) 지속 사전학습은 처음부터 학습하는 것보다 훨씬 유리하며, 특히 장문맥 능력 보존에 그렇고, (ii) 토크나이저 적응은 토큰 수준 작업을 향상시키지만 장문맥 검색을 저하시키며, (iii) 8,192 토큰에서의 전용 장문맥 사후 학습 단계는 리랭킹과 개체명 인식을 추가로 향상시키고, (iv) 인코더 전용 아키텍처는 판별 작업에서 더 큰 디코더 전용 대안과 경쟁력을 유지함을 보인다. 모델 가중치(https://huggingface.co/Tropic-AI/moBERTo)와 학습 데이터(https://huggingface.co/datasets/Tropic-AI/moberto-pretraining-dataset-c4-compatible)를 Hugging Face에 공개한다.

원문 초록

Encoder-only transformer models remain essential for production NLP pipelines. We introduce moBERTo, a Portuguese adaptation of ModernBERT obtained through continued pretraining of the ModernBERT-base checkpoint on 60 billion tokens (5 epochs over a 12-billion-token corpus curated from FineWeb2 and filtered with educational and STEM classifiers). We preserve the original architecture, including rotary positional embeddings, alternating local-global attention, flash attention, and unpadding. We evaluate moBERTo across information retrieval (including long-context retrieval at up to 8,192 tokens), document classification, named entity recognition, and natural language understanding. Our best variant, which combines a Portuguese tokenizer with subword-matching embedding transfer and long-context post-training, achieves the highest average reranking nDCG@10 across three Portuguese retrieval benchmarks and the best results on PLUE-PT. Through ablation studies, we show that (i) continued pretraining is strongly preferable to training from scratch, particularly for preserving long-context capabilities; (ii) tokenizer adaptation improves token-level tasks but degrades long-context retrieval; (iii) a dedicated long-context post-training phase at 8,192 tokens further improves reranking and NER; and (iv) encoder-only architectures remain competitive with larger decoder-only alternatives for discriminative tasks. We publicly release the model weights at https://huggingface.co/Tropic-AI/moBERTo and training data at https://huggingface.co/datasets/Tropic-AI/moberto-pretraining-dataset-c4-compatible on Hugging Face.

요약

ModernBERT-base를 FineWeb2 기반 120억 토큰 말뭉치에 600억 토큰 지속 사전학습(continued pretraining)하여 만든 포르투갈어 인코더 moBERTo를 제안하며, 포르투갈어 토크나이저·서브워드 매칭 임베딩 전이·8,192 토큰 장문맥 사후학습을 결합한 변형이 세 포르투갈어 검색 벤치마크의 평균 리랭킹 nDCG@10과 PLUE-PT에서 최고 성능을 기록한다. 정보 검색·장문맥 검색·문서 분류·개체명 인식·자연어 이해 평가와 어블레이션을 통해 지속 사전학습이 장문맥 능력 보존에 유리하고, 인코더 전용 아키텍처가 판별 작업에서 더 큰 디코더 전용 모델과 경쟁력을 유지함을 보인다.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.22722v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.15732v1cs.CL공통 태그 Text Classification, Natural Language Understanding

NepPlural: 네팔 이주 담론의 페르소나 주석을 위한 인간 기반 벤치마크

NepPlural: A Human-Anchored Benchmark for Persona Annotation in Nepali Migration Discourse

다원주의적 정렬(Pluralistic alignment)은 언어 모델이 사회의 다양하고 대립하는 가치들을 하나의 지배적인 관점으로 축소하기보다 충실하게 표현할 것을 요구하지만, 대표적인 다원주의적 정렬 데이터셋들은 여전히 서구권 응답자에게 크게 치우쳐 있습니다. 본 연구에서는 청년층 이주 및 두뇌 유출에 관한 네팔의 공론장에서 나타나는 대립적인 사회문화적 페르소나를 모델링하기 위한 인간 기반 벤치마크인 NepPlural을 소개합니다. 우리는 2,148개의 코드 혼용(데바나가리 문자, 로마자 표기 네팔어, 영어) 유튜브 댓글을 수집하고, 4개 축으로 구성된 페르소나 분류 체계(의도, 주요 동인, 가치 지향, 정서)와 명시적인 '페르소나 없음(No-Persona)' 클래스에 따라 주석을 달았으며, 세 명의 네팔어 원어민 화자가 독립적으로 레이블을 지정한 300개 댓글 규모의 골드 세트(평균 Fleiss' $κ\approx 0.55$)를 구축했습니다. 이 골드 세트를 활용해 자동 주석의 신뢰도를 검증한 결과, 대규모 언어 모델(LLM) 주석의 신뢰도는 프로토콜에 따라 결정된다는 점을 발견했습니다. 채팅 인터페이스를 통해 일괄(batch) 수집된 레이블은 모델 간 일치도가 무작위 수준에 불과했습니다($κ\approx 0.17$). 한 번에 하나의 댓글씩 주석을 달 경우 일치도가 원어민 화자 수준 이상으로 증가했으나($κ\approx 0.72$), 일관성이 곧 타당성을 의미하지는 않았습니다. 강제 선택 방식(forced-choice schema)에서는 원어민 화자가 페르소나가 없다고 판단한 댓글의 39%에 대해서도 모델들이 페르소나가 존재한다고 합의하여, 인간 골드 기준 매크로 F1 점수가 0.50 수준에 머물렀습니다. 기권(abstention)을 허용하자 이 문제가 해결되었습니다. 모델은 0.79에서 0.87의 F1 점수로 '페르소나 없음' 댓글을 복원했으며, 1인 배제(leave-one-annotator-out) 참조 기준에 대해 개별 원어민 화자와 일치하거나 이를 능가했습니다(매크로 F1 0.75~0.86 대 0.75). 일괄 처리된 레이블로 파인튜닝(fine-tuning)한 인코더는 0.34에 불과했습니다. 마지막으로, 인간 평가 기반의 제어 가능성(steerability) 검증 결과 프론티어 모델 3종은 단일 페르소나 축을 59~77%의 충실도로 채택했으나 전체 페르소나를 완벽히 구성한 비율은 33%에 불과했으며, 이 규모에서는 서구 친화적 페르소나와 네팔 집단주의적 페르소나 간의 일치도 격차가 감지되지 않았습니다.

arXiv:2610.10758v1cs.CL공통 태그 Text Classification, Natural Language Understanding

명확화 후 집중: 대규모 대화 분석을 위한 진술 정규화

Clarify, Then Focus: Statement Normalization for Conversation Analytics at Scale

기업의 대화 분석에서는 수백만 건의 대화 상호작용을 대상으로 다양한 질문을 던집니다. 각 질문마다 발화자의 의도를 재구성하고 중요한 정보를 식별해야 하므로, 동일한 대화 기록에 대해 비용이 큰 해석 작업이 반복될 수 있습니다. 본 연구에서는 '텍스트를 먼저 명확히 한 후, 독자가 집중하도록 만든다'는 간단한 원칙을 제안합니다. 진술 정규화(statement normalization)는 대화를 출처 참조 및 의미론적 태그가 포함된 화자별 짧은 진술로 변환합니다. 이러한 진술은 의미를 더욱 명확하게 만들며, 태그는 특정 질문에 필요한 근거 선택을 지원합니다. 다운스트림 모델은 의사결정에 도움이 되는 바에 따라 전체 표현을 사용하거나 관련 하위 집합을 선택적으로 활용할 수 있습니다. 고객 서비스 통화 데이터 기반의 제안 억제(offer-suppression) 작업에서, 정규화는 선택 과정 없이도 지도학습 분류기의 성능을 개선했으며 상대적으로 약한 프롬프트 기반 독자 모델은 정규화와 근거 선택 모두에서 이점을 얻었습니다. 소형 모델로도 정규화 규칙을 학습할 수 있으며, 경량 인코더가 태깅과 다운스트림 의사결정을 처리합니다. 여러 질문에 걸쳐 이러한 사전 가공 결과를 공유함으로써 소형 모델만으로 구성된 추론 파이프라인을 구축할 수 있어, 수백만 건의 대화에 대한 분석 비용을 크게 절감할 수 있습니다.

arXiv:2608.08090v2cs.CL공통 태그 Text Classification, Natural Language Understanding

통합 속의 지혜: 속담 내 비유적 언어 식별에서 다국어 학습의 역할

Wisdom in Unity: The Role of Multilingual Training in Figurative Language Identification in Proverbs

비유적 언어 식별에 대한 다국어 접근법은 새롭지 않지만, 단일 언어로 구성된 학습 데이터를 넘어서려면 번역된 다국어 지도(supervision)의 기여에 대한 더 명확한 이해가 필요하다. 본 연구는 7개 언어에 걸쳐 번역된 6,787개 인스턴스를 아우르는 742개의 속담 개념을 사용하여 이 질문을 조사한다. 저자들은 다국어 인코더와 인스트럭션 튜닝(instruction tuning)된 대규모 언어 모델(LLM)을 포함한 5개 모델을 대상으로, 다국어 지도의 수준을 점진적으로 높여 가며 평가한다. 또한 속담을 은유적(Metaphorical), 도덕/조언적(Moral/Advisory), 인과적(Cause-Effect), 문화 특수적(Culture-Specific)이라는 상호 보완적인 네 가지 비유 형태로 특징짓는 속담용 다차원 주석 프레임워크를 제안한다. 연구 결과, 전반적으로 다국어 학습(training) 데이터를 50% 이상 추가할 때 추가적인 성능 향상은 제한적이었으나, 최적의 지도 수준은 모델(model)과 언어에 따라 상이했다. 또한 다양한 비유 형태를 결합할 때 전반적인 성능이 가장 높게 나타남을 보인다. 주목할 만한 발견은 발생 빈도가 가장 낮은 비유 형태인 문화 특수적 형태가 다국어 지도 하에서 가장 큰 성능 향상을 보였다는 점이다. 나아가 속담의 도덕/조언적 형태와 문화 특수적 형태는 인스트럭션 튜닝된 LLM의 전반적인 비유 식별 성능에 더 크게 기여한다. 이러한 결과는 다국어 비유 식별 연구가 은유 중심의 분류 체계를 넘어, 문맥을 대표하는 상호 보완적인 비유적 의미 형태를 명시적으로 모델링하는 개념 수준의 다차원 프레임워크로 나아가도록 동기를 부여한다.

arXiv:2609.27590v1cs.CL공통 태그 Language Modeling, Natural Language Understanding

MWE-ECL: 복원 가능한 장거리 문맥이 국소적 어휘 사전확률을 항상 무시하지는 않는다

MWE-ECL: Recoverable Long-Range Context Does Not Always Override Local Lexical Priors

장문맥(long-context) 평가는 흔히 모델이 원거리 증거를 복원할 수 있는지를 테스트하지만, 복원 가능성이 행동적 영향을 보장하지는 않습니다. 본 연구에서는 원거리 담화 앵커가 명시적으로 복원 가능하더라도 익숙한 다의어 표현(multiword expression)의 국소적으로 선호되는 해석을 변경하는 데 실패할 수 있다는 예측을 검증합니다. 이러한 실패는 모델의 앵커 없는 기본값(no-anchor default)이 앵커와 충돌할 때 집중적으로 나타나는 반면, 사전확률에 부합하는 올바른(prior-correct) 결정은 대체로 유지되어야 합니다. 우리는 짝지어진 앵커 검색, 앵커 없는 사전확률, 해석 프롬프트가 각각 명시적 복원 가능성, 모델 관측 기본값, 앵커 조건부 결정을 측정하는 이중언어 진단 도구인 MWE-ECL(Multiword Expression Effective Context Length)을 제안합니다. 공유된 0-128K 그리드 상의 8개 영어 배포 패널 전반에서, 사전확률 충돌 항목에 대한 검색 통제 정확도는 0.989-1.000, 사전확률 충돌 재정의(override)는 0.806-1.000(올바른 검색을 조건부로 한 경우 0.809-1.000), 사전확률 부합 결정의 보존율은 0.977-1.000으로 유지됩니다. 단일 프롬프트에서 검색과 해석을 질의하는 단일 호출(same-call) 대조군은 DeepSeek V4 Pro에 대해 격차(1.000 검색 대비 0.900-0.920 해석)를 재현하여, 개별 호출이 이러한 격차의 유일한 설명이 아님을 보여주며, 다른 두 모델에서 나타난 더 작거나 없는 격차는 그 일반성의 범위를 한정합니다. DeepSeek V4 Flash의 경우, 개별 프롬프트 적합도 테스트에서 512K 및 1M에서 완벽한 검색 능력을 유지하면서도 낮은 해석 능력을 보인 반면, 오답 유도 단서(foil-consistent cues)는 검색보다 앵커 없는 사전확률을 훨씬 더 크게 변화시켰으며, 모델 간 단서 효과는 이질적이었습니다. 별도로 보고된 10개 계열의 중국어 하위 집합도 유사한 기술적 격차를 보이지만, 일부 모델의 불완전한 검색 능력으로 인해 이를 오로지 통합(integration) 문제만으로 귀인하는 것은 어렵습니다. 따라서 MWE-ECL은 명시적으로 복원 가능한 원거리 문맥이 경쟁적인 국소 의미 결정을 변화시키는지 여부를 평가합니다.

arXiv:2608.30393v2cs.CL공통 태그 Information Retrieval, Named Entity Recognition

타당성 인식 생의학 AI를 위한 정량적 증거 마이닝: 서술적 리뷰 및 개념적 프레임워크

Quantitative Evidence Mining for Plausibility-Aware Biomedical AI: A Narrative Review and Conceptual Framework

생의학 인공지능은 문헌 검색에서 지식 그래프, 임상 의사결정 지원, 계산 모델을 위한 증거 종합(evidence synthesis)으로 나아가고 있다. 그러나 대부분의 정보 추출(information extraction) 시스템은 여전히 발견을 단순 관계로만 표현하여, 해석과 재사용에 필요한 정량적·맥락적 세부를 버린다. 한 개체가 다른 개체에 영향을 준다는 주장만으로는 크기(magnitude), 단위, 대상 집단, 비교군(comparator), 실험 조건, 불확실성, 출처(provenance)가 빠져 있으면 부족하다. 우리는 생의학적 발견을 구조화되고 맥락이 풍부하며 감사 가능한(auditable) 증거 단위(evidence unit)로 변환하는 프레임워크로서 정량적 증거 마이닝(quantitative evidence mining)을 정의한다. 증거 단위의 핵심 요소로 주장, 측정 대상 개체와 속성, 값·단위·척도, 비교군, 대상 집단, 생물학적·임상적 조건, 시간적 맥락, 불확실성, 출처, 검증 결과, 전문가 검토 상태를 둔다. 코퍼스 선정, 개체 인식, 수량 추출, 맥락 연결, 정규화, 증거 단위 조립, 다차원 타당성(plausibility) 평가, 내보내기 및 거버넌스에 이르는 8단계 참조 아키텍처를 제안한다. 핵심 원칙은 타당성을 단일 진리 레이블로 축약하지 않아야 한다는 것이다. 통계적, 생물학적, 방법론적, 맥락적, 출처 기반 지지는 명시적으로 남겨 두어야 한다. 이 프레임워크는 정보 추출을 증거 종합 및 계산적 재사용과 연결하며, 임상시험 분석, 바이오마커 연구, 약물 감시(pharmacovigilance), 지식 그래프 구축, 기전 모델링(mechanistic modelling)에 적용할 수 있다. 이는 검증된 end-to-end 시스템이라기보다 연구 의제(research agenda)이다. 진전을 위해서는 주석이 달린 멀티모달 벤치마크, 엄격한 구성 요소·워크플로 수준 평가, 전향적 시험, 투명한 출처, 지속적인 전문가 감독이 필요할 것이다.

arXiv:2609.25298v1cs.CL공통 태그 Language Modeling, Natural Language Understanding

FineWeb-CLaR: 벤치마크 정렬 코퍼스 감사를 위한 문화·언어·지역 어노테이션

FineWeb-CLaR: Culture, Language, and Region Annotations for Benchmark-Aligned Corpus Auditing

언어 모델의 문화적 평가 커버리지와 견고성(robustness)은 사전학습 코퍼스와 문화 벤치마크가 비교 가능한 메타데이터로 거의 색인되지 않아 진단하기 어렵다. 벤치마크는 점점 언어, 지역, 로케일별 관행 수준의 문화적으로 맥락화된 현상을 대상으로 하는 반면, 웹 규모 코퍼스는 보통 언어로만 구성된다. 공유 문화-언어-지역 층은 이러한 자원을 비교 가능하게 하여, 대상 문화적 현상이 사전학습 데이터에 반영되는지, 벤치마크로 평가되는지, 또는 둘 다인지에 대한 감사(auditing)를 가능하게 한다. 이를 위해 FineWeb과 FineWeb-2에서 파생된 대규모 주석 데이터셋인 FineWeb-CLaR을 제안한다. FineWeb-CLaR은 코퍼스 감사 및 벤치마크 정렬을 위해 웹 문서를 공유 문화-언어-지역 축에 배치한다. FineWeb-CLaR은 URL에서 유도한 지역 레이블과 문화 주제 출처(provenance)로 FineWeb 및 FineWeb-2의 전체 30.9B개 문서 컬렉션에 어노테이션한다. 우리의 지역 해석기(region resolver)는 문서의 25.61%(7.92B)에 비어 있지 않은 지역을 할당한다. 문화 주제 분석을 위해 로케일별 주제를 유도하고 Liu et al. (2025)의 Cultural Taxonomy 14개 리프에 투영하여 코퍼스 측 비교를 위한 Locale Topic Distributions(LTD)를 생성한다. 또한 277개의 문화 NLP 벤치마크에 동일한 분류 체계, 언어 커버리지, 지역 커버리지로 어노테이션한다. 이 자원들을 함께하면 코퍼스 측 사전학습 근거와 벤치마크 측 평가 커버리지 간의 직접 비교가 가능하다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.