TabiBERT: 터키어를 위한 대규모 ModernBERT 기반 모델 및 통합 벤치마크
TabiBERT: A Large-Scale ModernBERT Foundation Model and A Unified Benchmark for Turkish
한국어 초록
BERT의 도입으로 인코더 전용 트랜스포머(transformer) 모델은 자연어 처리(NLP) 분야의 기반 패러다임으로 자리 잡았습니다. 인코더 전용 모델은 텍스트 생성보다 문맥 표현과 낮은 추론(inference) 비용이 더 중요한 분류(classification), 태깅, 검색 작업에서 여전히 표준 도구로 활용되고 있으나, 터키어에는 ModernBERT에 집약된 최신 기술(회전 위치 임베딩(RoPE), FlashAttention, 개선된 정규화(normalization))을 적용하여 처음부터(from scratch) 학습(training)된 단일 언어 인코더가 부재했습니다. 이에 본 논문에서는 ModernBERT 아키텍처를 기반으로 웹 텍스트(72%), 학술 논문(19%), 소스 코드(6%), 수학 콘텐츠(0.3%)로 구성된 865억 8천만 토큰 규모의 다중 도메인 코퍼스에서 샘플링한 1조 개의 토큰을 처음부터 사전학습한 단일 언어 터키어 인코더인 TabiBERT를 소개합니다. 이 모델은 기존 터키어 BERT 모델의 16배에 달하는 8,192개 토큰의 컨텍스트 길이를 지원하며, 긴 컨텍스트에서 ModernBERT 아키텍처가 지닌 효율성을 그대로 계승합니다. 엄격하고 재현 가능한 평가를 위해, 표준화된 데이터 분할과 평가 프로토콜을 갖춘 8개 작업 범주에 걸친 27개 데이터셋으로 구성되고 0-100 척도의 GLUE 스타일 매크로 평균으로 요약되는 벤치마크인 TabiBench를 제시합니다. TabiBERT는 8개 범주 중 5개에서 터키어 모델들을 앞서며, 기존 최고 성능 모델인 BERTurk를 8개 중 6개 범주에서 능가합니다. 이러한 성능 향상은 질의응답(+9.55 F1)과 코드 검색(+2.41 NDCG@10)에 집중된 반면, 4개의 단문 텍스트 범주는 포화 상태에 가깝습니다. TabiBERT의 평균 점수는 77.28점으로 BERTurk의 75.66점을 상회하며, 다국어 모델인 mmBERT는 파라미터 수가 2배, 학습 토큰 수가 3배이고 터키어 입력당 토큰 수가 41% 더 많은 조건에서 78.98점을 기록했습니다. 향후 터키어 인코더 연구를 위한 투명하고 재현 가능한 기반으로서 모델 가중치, 학습 설정 및 평가 코드를 공개합니다.
원문 초록
The introduction of BERT established encoder-only transformer models as a foundational paradigm in natural language processing. Encoder-only models remain the standard tool for classification, tagging and retrieval, where contextual representations and low inference cost matter more than text generation, yet Turkish lacks a monolingual encoder trained from scratch with the advances consolidated in ModernBERT (rotary positional embeddings, FlashAttention, refined normalization). We introduce TabiBERT, a monolingual Turkish encoder based on the ModernBERT architecture, pretrained from scratch for one trillion tokens sampled from an 86.58B-token multi-domain corpus of web text (72%), scientific publications (19%), source code (6%) and mathematical content (0.3%). The model supports a context length of 8,192 tokens, sixteen times that of existing Turkish BERT models, and inherits the ModernBERT architecture's efficiency at long context. For rigorous and reproducible evaluation we introduce TabiBench, a benchmark of 27 datasets across eight task categories with standardized splits and evaluation protocols, summarized as a GLUE-style macro-average on a 0-100 scale. TabiBERT leads the Turkish models in five of eight categories and BERTurk, the previous best, in six of eight; the gains concentrate on question answering (+9.55 F1) and code retrieval (+2.41 NDCG@10), while the four short-text categories are near saturation. Its average of 77.28 exceeds BERTurk's 75.66; the multilingual mmBERT reaches 78.98 with twice the parameters and three times the training tokens, at 41% more tokens per Turkish input. We release model weights, training configurations and evaluation code as a transparent and reproducible foundation for future Turkish encoder research.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
DyadMem: 에이전트와 사용자의 상호작용 방식을 평가하는 장기 기억 벤치마크
DyadMem: A Long-Term Memory Benchmark of How Agents Work with Users
장기 에이전트(agent)는 사용자에 대한 사실뿐만 아니라 공유된 히스토리가 발전함에 따라 특정 에이전트가 해당 사용자와 어떻게 상호작용해야 하는지도 기억해야 합니다. 기존 벤치마크는 주로 사용자의 사실 및 선호도나 여러 사용자 간에 재사용 가능한 경험만을 감독하여, 이러한 관계 특정적 에이전트 메모리를 암묵적인 상태로 남겨두었습니다. 또한, 대부분의 이전 연구는 긴 상호작용 기록에 대한 최종 답변 질의응답(QA)만으로 모델을 측정하므로 평가가 여전히 불완전하고 신뢰하기 어렵습니다. 이를 위해 본 논문에서는 새롭게 정의한 사용자 조건부 관계형 에이전트 메모리(URAM)와 함께 DyadMem을 소개합니다. DyadMem은 동일한 다중 세션 궤적을 따라 사용자 측 메모리와 URAM을 공동으로 주석 처리하여 6가지 메모리 범주를 구성합니다. 요약하자면, 본 벤치마크는 3,065개의 에피소드, 50,961개의 세션, 61,210개의 QA 인스턴스를 포함하며, 광범위한 세션 수준의 수집(Capture) 및 업데이트(Update) 골드 주석, 쿼리 수준의 리콜(Recall) 지원, 그리고 골드 메모리(Gold-Memory)와 전체 파이프라인(Full-Pipeline)이라는 두 가지 QA 설정을 제공합니다. 16개의 공개 가중치(weight) 모델과 4개의 독점 모델 전반에서 골드 메모리 QA는 일관되게 강력한 성능을 보였으나, 전체 파이프라인 QA는 급격히 하락했습니다. 이러한 격차는 본 연구의 세분화된 평가 설계를 명확히 뒷받침합니다. 또한, 여러 정량적 결과는 프론티어 대규모 언어 모델(LLM)에서도 낮은 수집 재현율(recall), 불완전한 검색(Recall), 안전하지 않은 삭제 문제가 발생함을 추가로 보여줍니다. 나아가 엄격한 실험을 수행하여 URAM의 효과를 검증했으며 20개 모델 모두에서 긍정적인 효과를 관찰했습니다. 요약하자면, DyadMem은 해당 분야의 발전을 위해 광범위한 주석 작업을 거친 이중 도메인, 전체 파이프라인 메모리 벤치마크입니다.
NepPlural: 네팔 이주 담론의 페르소나 주석을 위한 인간 기반 벤치마크
NepPlural: A Human-Anchored Benchmark for Persona Annotation in Nepali Migration Discourse
다원주의적 정렬(Pluralistic alignment)은 언어 모델이 사회의 다양하고 대립하는 가치들을 하나의 지배적인 관점으로 축소하기보다 충실하게 표현할 것을 요구하지만, 대표적인 다원주의적 정렬 데이터셋들은 여전히 서구권 응답자에게 크게 치우쳐 있습니다. 본 연구에서는 청년층 이주 및 두뇌 유출에 관한 네팔의 공론장에서 나타나는 대립적인 사회문화적 페르소나를 모델링하기 위한 인간 기반 벤치마크인 NepPlural을 소개합니다. 우리는 2,148개의 코드 혼용(데바나가리 문자, 로마자 표기 네팔어, 영어) 유튜브 댓글을 수집하고, 4개 축으로 구성된 페르소나 분류 체계(의도, 주요 동인, 가치 지향, 정서)와 명시적인 '페르소나 없음(No-Persona)' 클래스에 따라 주석을 달았으며, 세 명의 네팔어 원어민 화자가 독립적으로 레이블을 지정한 300개 댓글 규모의 골드 세트(평균 Fleiss' $κ\approx 0.55$)를 구축했습니다. 이 골드 세트를 활용해 자동 주석의 신뢰도를 검증한 결과, 대규모 언어 모델(LLM) 주석의 신뢰도는 프로토콜에 따라 결정된다는 점을 발견했습니다. 채팅 인터페이스를 통해 일괄(batch) 수집된 레이블은 모델 간 일치도가 무작위 수준에 불과했습니다($κ\approx 0.17$). 한 번에 하나의 댓글씩 주석을 달 경우 일치도가 원어민 화자 수준 이상으로 증가했으나($κ\approx 0.72$), 일관성이 곧 타당성을 의미하지는 않았습니다. 강제 선택 방식(forced-choice schema)에서는 원어민 화자가 페르소나가 없다고 판단한 댓글의 39%에 대해서도 모델들이 페르소나가 존재한다고 합의하여, 인간 골드 기준 매크로 F1 점수가 0.50 수준에 머물렀습니다. 기권(abstention)을 허용하자 이 문제가 해결되었습니다. 모델은 0.79에서 0.87의 F1 점수로 '페르소나 없음' 댓글을 복원했으며, 1인 배제(leave-one-annotator-out) 참조 기준에 대해 개별 원어민 화자와 일치하거나 이를 능가했습니다(매크로 F1 0.75~0.86 대 0.75). 일괄 처리된 레이블로 파인튜닝(fine-tuning)한 인코더는 0.34에 불과했습니다. 마지막으로, 인간 평가 기반의 제어 가능성(steerability) 검증 결과 프론티어 모델 3종은 단일 페르소나 축을 59~77%의 충실도로 채택했으나 전체 페르소나를 완벽히 구성한 비율은 33%에 불과했으며, 이 규모에서는 서구 친화적 페르소나와 네팔 집단주의적 페르소나 간의 일치도 격차가 감지되지 않았습니다.
테스트 시점 메모리 구축
Test-Time Memory Construction
대규모 언어 모델(LLM)은 관련 증거가 멀리 떨어진 세션에 걸쳐 흩어져 있을 수 있는 긴 상호작용 기록을 바탕으로 질문에 답하는 데 어려움을 겪습니다. 기존 메모리 시스템은 일반적으로 사용자 질의가 관찰되기 전에 오프라인에서 정교한 메모리 표현을 구축하고 유지하므로 상당한 오버헤드가 발생하고 질의별 정보 요구에 맞춰 메모리 구축을 적응시키는 능력이 제한됩니다. 본 논문에서는 메모리 구축을 추론(inference) 시점으로 미루고 추론 과정에 따라 메모리를 점진적으로 구축하는 테스트 시점 메모리(Test-Time Memory) 구축 프레임워크인 T$^2$Mem을 제안합니다. 구체적으로 T$^2$Mem은 주요 이벤트와 시간적 연관성을 검색 단서로 포착하기 위해 가벼운 에피소드 수준의 메타데이터를 오프라인에서 추출하는 동시에, 에피소드 간의 의존성 재구성을 용이하게 하도록 원본 상호작용에 대한 링크를 유지합니다. 테스트 시점에 LLM은 메타데이터와 원시 상호작용을 적응적으로 검색 및 구성하여 추론이 진행됨에 따라 질의 맞춤형 메모리를 점진적으로 구축합니다. LoCoMo 및 LongMemEval에 대한 실험을 통해 T$^2$Mem은 다양한 백본 LLM 전반에서 강력한 베이스라인을 일관되게 능가하는 동시에 메모리 구축 오버헤드를 대폭 줄임으로써 그 효과를 입증합니다. 추가 분석을 통해 메모리 구축을 추론 시점으로 미룸으로써 메모리 구축 프로세스가 개별 질의의 정보 요구에 동적으로 적응할 수 있음을 보여줍니다. 모든 코드는 https://github.com/OpenBMB/T2Mem 에서 이용 가능합니다.
지식 그래프 기반 멀티태스크 사전학습을 통한 사전학습 언어 모델의 법률 추론 능력 향상
Enhancing Legal Reasoning in Pre-trained Language Models via Knowledge Graph-Guided Multi-Task Pre-training
법률 언어 이해는 반정형 규제 문서에 대한 추론을 요구하지만, 표준 사전학습(pre-training) 목표는 이러한 구조적 역량을 명시적으로 겨냥하지 않습니다. 현재의 법률 언어 모델은 마스크 언어 모델링에만 의존하기 때문에, 법령 텍스트를 단순한 평면 토큰(token) 시퀀스로 취급하고 그 이면에 있는 계층적 제약 조건을 무시합니다. 이러한 격차를 해소하기 위해 본 연구에서는 독일 도로교통법(StVO)을 대상으로 한 멀티태스크 사전학습 방식을 제시합니다. 우리의 접근법은 다음 문장 예측(NSP), 지식 그래프(KG) 기반 클러스터링(CLU), 그리고 지식 그래프 인식 단락 분류(CLS)라는 세 가지 상호보완적인 목표를 결합합니다. 이 접근법은 구조화된 법률 지식을 모델 가중치에 직접 명시적으로 인코딩합니다. 이러한 인코딩을 통해 추론(inference) 시점에 제로샷(zero-shot) 법률 추론이 가능해지며 이산적인 그래프 순회의 필요성을 없앱니다. 우리는 9개의 트랜스포머(Transformer) 기반 인코더와 324회의 실험적 실행을 통해 제안 방식을 평가합니다. 합성 StVO 질의응답에서 본 연구의 모델은 베이스라인 대비 10.3%에서 155.0% 사이의 일관된 상대적 성능 향상을 보여줍니다. 나아가 기존에 확립된 LexGLUE 베이스라인(Chalkidis et al., 2022)과 비교하여 7개 법률 벤치마크 중 4개에서 이전 결과를 개선합니다. 또한 오스트리아 운전 규정에 대해서도 3.4%에서 15.8% 사이의 일관된 제로샷 전이 이득을 달성합니다. 이러한 실험 결과는 우리의 학습(training) 방식이 초기 학습 법률 도메인을 넘어 성공적으로 일반화됨을 나타냅니다.
TabMF: 정형 데이터 파운데이션 모델을 활용한 데이터셋 표현 학습
TabMF: Learning Dataset Representations with Tabular Foundation Models
지도학습 데이터셋의 표현(representation)은 데이터셋 검색 및 분포 변화(distribution shift) 모니터링과 같은 상위 수준의 머신러닝 작업을 지원합니다. 그러나 기존 접근 방식은 일반적으로 수작업으로 설계된 메타 피처나 표현 학습만을 위해 특별히 학습된 데이터셋 인코더에 의존합니다. 본 논문에서는 사전학습된 정형 데이터 파운데이션 모델(TFM)을 지도학습 데이터셋의 인코더로 재활용하는 프레임워크인 TabMF를 소개합니다. TabMF는 예측형 TFM에 구조를 고려한 데이터셋 수준의 리드아웃(readout)을 장착하고, 합성 지도학습 데이터셋의 확률적 뷰(stochastic view)에 대한 대조 사후 학습(contrastive post-training)을 사용하여 모델을 엔드투엔드로 적응시킵니다. TabICLv2 및 TabPFN-2.5에 TabMF를 적용하고, 미확인 실제 데이터셋을 대상으로 6개 작업에 걸쳐 도출된 표현을 평가합니다. 가중치를 고정한(frozen) 단순 TFM 리드아웃만으로도 경쟁력 있는 표현이 생성되며, 이는 예측 사전학습이 이미 상당한 수준의 데이터셋 차원 구조를 유도함을 시사합니다. 두 가지 TabMF 인코더는 평가된 학습 기반 및 고전적 데이터셋 표현 중 가장 강력한 종합 성능을 달성했으며, 특히 데이터셋 검색, 압축 벤치마크 구축, 분포 변화 심각도 평가에서 뛰어난 성과를 보였습니다.
RATED: 실행 역학을 통한 신뢰성 인식 AI 에이전트 도구 검색
RATED: Reliability-Aware AI Agent Tool Retrieval via Execution Dynamics
AI 에이전트(agent)의 외부 도구 의존도가 높아짐에 따라, 신뢰할 수 있는 동작을 위해서는 정확한 도구 검색이 필수적입니다. 기존 방식들은 의미적 관련성을 최적화하지만 실행 중 도구의 가용성은 대체로 무시합니다. 이러한 한계를 해결하기 위해, 본 논문에서는 강건한 의미적 매칭과 동적 신뢰성 적응을 결합한 검색 프레임워크인 RATED(Reliability-Aware Tool Retrieval via Execution Dynamics)를 제안합니다. RATED는 의미적 매칭을 위해 대조 미세조정(contrastive fine-tuning)이 적용된 고정된(frozen) 듀얼 인코더를 사용하며, 실시간 실행 피드백을 기반으로 후보군을 재순위화하는 경량 맥락적 밴딧(contextual bandit) 모듈을 사용합니다. 이러한 설계를 통해 모델의 값비싼 재학습 없이도 런타임 도구 실패에 신속하게 적응할 수 있습니다. 또한 오프라인 검색 및 동적 신뢰성 평가를 위해 5,172개의 실제 도구와 210,000개 이상의 쿼리-도구 쌍으로 구성된 벤치마크인 EcoAgent를 소개합니다. 실험 결과에 따르면, RATED는 실제 쿼리에서 ToolLLM API 검색기 대비 52.2%의 상대적 MRR 향상을 달성하고, 30%의 실패율을 보이는 심각한 API 장애 시나리오에서 오류 선택률을 86.2%에서 2.9%로 낮추는 동시에 인코딩 전용 추론(inference) 대비 1ms 미만의 미미한 지연 시간 오버헤드만을 발생시킵니다. 코드와 데이터셋은 https://github.com/Elliotes/EcoAgent 에서 확인할 수 있습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
40 pages, 2 figures, 16 tables