ufakzeka-1: 밑바닥부터 구축하고 평가한 1억 5,100만 매개변수의 튀르키예어 언어 모델
ufakzeka-1: Building and Evaluating a 151M-Parameter Turkish Language Model from Scratch
한국어 초록
본 논문에서는 클라우드 GPU, API, 노트북 사용 시간을 합쳐 총 약 286달러의 비용으로 공개 라이선스 텍스트 135억 토큰(token)을 사용해 밑바닥부터 사전학습(pre-training)하고 대화용으로 인스트럭션 튜닝(instruction tuning)한 1억 5,100만 매개변수(임베딩 포함 시 1억 8,200만) 디코더 전용 튀르키예어 언어 모델인 ufakzeka-1을 소개한다. 본 연구의 기여는 이 크기의 모델에서 기대할 수 있는 수준인 모델의 성능 자체가 아니라, 이를 구축하고 측정한 기록에 있다. 즉, 단어당 1.77개 토큰 수준의 튀르키예어 바이트 단위 토크나이저, 3단계 사전학습 일정, 공개 라이선스 데이터와 생성 데이터의 사후 학습(post-training) 혼합, 그리고 출시 게이트(release gate), 규칙 검증을 거친 5,508개 대화 스윕, 판정 대화 및 수동 테스트로 구성된 평가 세트를 포함한다. 이 모든 평가는 학습(training) 데이터 구축 과정 내 오염 제거와 각 빌드 전에 실행되는 커밋된 불변성 검사 스크립트를 통해 강제하여 학습 데이터에서 제외된 프롬프트(prompt)로 수행되었다. 우리는 다른 소형 모델 연구에도 적용될 수 있다고 생각되는 세 가지 결과를 보고한다. 첫째, 자체 질문으로 작성된 학습 데이터로 "수정"되었던 안전성(safety) 게이트는 정직한 수치가 34/64였던 반면 64/64로 나타났다. 둘째, 학습 시드(seed) 간 분산이 우리가 시도한 모든 레시피 전반의 편차만큼 컸으므로 이 규모에서 단일 시드 비교는 유의미한 정보를 제공하지 않는다. 셋째, 데이터 라운드는 데이터에 부재했던 부분만을 복구했을 뿐 긴 문맥에서의 정체성 추적과 다중 턴(multi-turn) 산술 연산은 시도한 어떤 데이터 변화에도 개선되지 않았으며, 우리는 이를 데이터의 공백이라기보다는 모델 크기의 한계로 해석했고 이는 다음 대형 모델에서 검증될 것이다. 가중치, 데이터 레시피, 평가 코드, 지출 내역 장부는 Apache-2.0 라이선스로 공개된다.
원문 초록
We describe ufakzeka-1, a 151M-parameter (182M with embeddings) decoder-only Turkish language model pretrained from scratch on 13.5B tokens of openly licensed text and instruction-tuned for chat, at a total cost of about \$286 in cloud GPU, API and notebook time. The contribution is not the model's capability, which is what a model this size can be expected to have, but the record of building and measuring it: a Turkish byte-level tokenizer at 1.77 tokens per word, a three-stage pretraining schedule, a post-training mixture of openly licensed and generated data, and an evaluation battery of release gates, a rule-checked sweep of 5,508 conversations, judged conversations and hand tests, all with prompts held out from the training data, enforced by decontamination inside the data build and by a checked-in invariant script we run before each build. We report three findings that we believe transfer to other small-model efforts: a safety gate that had been "fixed" with training data written from its own questions read 64/64 while the honest figure was 34/64; training-seed variance was as large as the spread across every recipe we tried, so single-seed comparisons at this scale are uninformative; and data rounds repaired only what was absent from the data, while identity tracking over long context and multi-turn arithmetic did not move across any data change we tried, which we read as limits of the model size rather than gaps in the data, a reading the next, larger model will test. Weights, the data recipe, the evaluation code and the spend ledger are released under Apache-2.0.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2609.25081v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
대규모 문법 개념 주석: 배포된 미세조정 소형 언어 모델이 프롬프트 기반 프론티어 모델을 능가하다
Grammar Concept Annotation at Scale: Deployed Fine-Tuned Small Language Models Outperform Prompted Frontier Models
교정 피드백은 제2언어 습득을 이끄는 가장 입증된 요인 중 하나이지만, 수업 중에 제공되는 교정은 문법 숙달도에 대한 실행 가능한 관점으로 축적되는 경우가 드뭅니다. 프롬프트(prompt)를 적용한 프론티어 모델(frontier model)은 학습자-튜터 수업 녹취록을 통해 이러한 관점을 제공할 수 있으나, 대규모 환경에서는 비용이 많이 듭니다. 본 연구에서는 필터링 및 재조정된 교사 생성 지도 데이터를 바탕으로 Qwen3.5 소형 언어 모델(SLM)을 미세조정(fine-tuning)한 후, 플랫폼의 모든 영어 학습자를 위한 엔드투엔드 문법 숙달도 추적기에 효율적인 0.8B 모델을 배포함으로써 이러한 격차를 해소합니다. 주석 규약을 어댑터 가중치에 내재화함으로써 장황한 지시문 대신 간결한 매칭 프롬프트와 0.8B 모델을 결합할 수 있었습니다. 사람이 큐레이션한 두 개의 벤치마크에서, 배포된 0.8B 모델과 4B 참조 비교 모델 모두 개념, 근거 범위, 정확도 등 점진적으로 엄격해지는 중첩 매칭 기준 하에서 프롬프트를 적용한 GPT-5.4 및 GPT-5.6 Sol보다 정밀도(precision)와 재현율(recall) 측면에서 우수한 성능을 보였습니다. 배포된 0.8B SLM은 서빙 비용을 약 16배 절감합니다. 기능 수준의 온라인 실험에서는 학습자 참여도(+15.8%) 및 예약 시간(+2.1%), 신규 수업 기반 GMV(+13.2%)를 포함한 주요 비즈니스 지표에서 상당한 향상을 보였습니다.
정보 기반 마스킹: 확산 대규모 언어 모델의 강화학습을 위한 구조 인지 섭동
Informed Masking: Structure-Aware Perturbation for Reinforcement Learning in Diffusion Large Language Models
확산 대규모 언어 모델(dLLM)은 자기회귀 모델의 효율적인 대안으로 부상했으나, 이를 강화학습(RL)을 통해 정렬(alignment)하려면 롤아웃당 적은 몬테카를로 예산 하에서 마스킹된 재구성 하위 문제로부터 추정된 가능도 대리치(likelihood surrogates)가 필요합니다. 기존 기법들은 균등 무작위 마스킹을 통해 이러한 하위 문제를 구성하므로, 어떤 하위 문제를 우선시해야 하는지에 대한 의문이 남아 있습니다. 본 연구는 dLLM 롤아웃에서 체계적인 상류/하류(upstream/downstream) 구조를 규명합니다. 특정 토큰들은 공개되었을 때 아직 디코딩되지 않은 인접 위치에서 큰 신뢰도 변화를 유발하며, 이를 상류 토큰이라 부릅니다. 반면 다른 토큰들은 국소적으로 작은 변화만을 유발하므로 하류 토큰에 해당합니다. 연구진은 하류 토큰을 마스킹하는 것이 상류 토큰을 마스킹하는 것보다 실질적으로 훨씬 더 잘 정의된(better-posed) 하위 문제를 생성한다는 점을 발견했으며, 이 현상을 '하위 문제 난이도 비대칭성'이라 명명했습니다. 이러한 관찰을 바탕으로, 추가적인 추론 비용 없이 디노이징 궤적에서 토큰별 우선순위 점수를 도출하고 마스크 샘플링이 하류 토큰 쪽으로 편향되도록 하는 정보 기반 마스킹(Informed Masking, IM)을 제안합니다. IM은 플러그 앤 플레이(plug-and-play) 방식으로 적용할 수 있으며, LLaDA-8B-Instruct 기반 세 가지 최신 dLLM 강화학습 기법에 결합했을 때 향상된 학습 안정성과 함께 수학 및 계획 수립 벤치마크에서 각각 최대 2.01%, 8.68%, 5.77%의 상대적 평균 성능 향상을 달성합니다.
CREDO: 재생-보정된 크레딧 할당을 위한 분산 유도 루브릭 진화
CREDO: Variance-Guided Rubric Evolution for Replay-Corrected Credit Assignment
장기적(Long-horizon) 언어 에이전트는 희소한 최종 피드백을 받는 반면, 중간 루브릭(rubric)은 진행 상황에 대해 구조화되어 있지만 잠재적으로 잘못 명시될 수 있는 평가를 제공합니다. 재설정 가능한 학습 환경에서 반사실적 지속 롤아웃(counterfactual continuation rollout)을 통해 국소적 크레딧을 측정할 수 있지만, 완전한 재생(replay)은 비용이 많이 듭니다. 본 논문에서는 진화하는 의미론적 루브릭과 선택적 실행 기반 크레딧 보정을 결합한 프레임워크인 Credo를 제안합니다. 동결된 판별기(judge)는 가시적인 전이(transition)를 루브릭 특징에 매핑하고, 크레딧 헤드는 실현된 전이와 관련된 기대 최종 보상의 변화를 예측합니다. 독립적으로 샘플링된 양측 재생은 기록된 포함 확률을 사용하여 예측 잔차를 보정합니다. 본 연구는 조건부 비편향성과 두 가지 설계 선택(유지할 루브릭 특징 및 고정된 기대 재생 예산 할당 위치)을 연결하는 분산 분해를 유도합니다. 그 결과로 도출된 기준은 정책-점수 민감도와 누락된 재생 범위로 예측 오차에 가중치를 부여하며, 해당 할당 규칙은 지속 비용까지 추가로 고려합니다. 또한 최종 LOO(leave-one-out) 이점과의 실용적인 혼합을 설명하고, 클리핑 및 토큰 정규화가 적용된 PPO 구현을 이상적인 정책 그래디언트 추정량과 구별합니다. 이 예비 보고서는 방법론, 증명, 정확한 유한 모델 감사 및 통제된 평가 프로토콜을 제공하며, 언어 에이전트 벤치마크에서의 경험적 우수성은 주장하지 않습니다.
IKS-Instruct: 언어 모델에 인도 지식 체계를 가르치기 위한 24,000개 예시 다국어 데이터셋
IKS-Instruct: A 24,000-Example Multilingual Dataset for Teaching Language Models Indian Knowledge Systems
지시 미세조정(instruction tuning)은 대규모 언어 모델(LLM)이 인간의 의도를 따르도록 적응시키는 표준 방법이 되었지만, 기존 지시 데이터셋은 영어 일반 지식 과제가 지배적이며 전문 교육 영역에 대한 커버리지가 부족하다. 본 논문은 언어 모델이 인도 지식 체계(Indian Knowledge Systems, IKS)에 기반한 교육 콘텐츠를 제공하도록 가르치기 위한 24,795개의 지시-응답 쌍으로 구성된 데이터셋 IKS-Instruct를 제시한다. 이 데이터셋은 7개 언어(영어, 힌디어, 산스크리트어, 타밀어, 텔루구어, 칸나다어, 말라얄람어)에 걸쳐 있으며, 베다 구전 및 수학 전통의 41가지 교육 기법을 다루고, 중등교육 중앙위원회(Central Board of Secondary Education, CBSE) 6~12학년 교육과정에 맞춰져 있다. 쌍은 여섯 가지 출처 유형에서 파생된다: 고전 텍스트 코퍼스(Bhagavad Gita, Thirukkural, Sangam literature, Vedic texts), 교육과정에 맞춘 교육 템플릿, 베다 수학 수트라 시연, 이중언어 지시 쌍, 기법 기반 다중 턴 대화, 교차 전통 비교 분석. 품질은 독립적인 언어 모델이 기법 충실도, 교육적 품질, 사실적 정확성, IKS 문화적 깊이를 포함한 12개 차원에서 응답을 채점하는 다중 심사자 평가 프레임워크를 통해 평가된다. 균일한 5명의 외부 심사자 패널(1,201개 계층화 항목에 대한 중앙값 집계) 하에서, 소형 7B 모델의 가장 강력한 IKS-Instruct 미세조정은 중앙 심사자 점수 6.39에 도달하며, 이는 강력한 범용 참조 모델(Nemotron-Nano, 6.54)과 0.15 이내의 차이이면서 배포 비용은 그 일부에 불과하다. 반면 IKS 미세조정 없이 사용한 기본 모델은 IKS 특화 차원에서 거의 0점에 가깝다. 모델 품질은 데이터 큐레이션에 따라 단조롭게 증가하지 않으며, 우리는 이 결과를 해당 데이터 품질 향상과 함께 보고한다.
MIITA: 소형 언어 모델의 지속 학습을 위한 메모리 유도 추론 시점 적응
MIITA: Memory-Induced Inference-Time Adaptation for Continual Learning with Small Language Models
지속 학습(CL)은 자원이 제한된 배포 환경에서 진화하는 실세계 요구에 적응하기 위해 소형 언어 모델(SLM)에 필수적이다. 그러나 제한된 매개변수 공간을 직접 업데이트하면 치명적 망각(catastrophic forgetting)이 발생한다. 메모리 기반 방법은 지식 보존을 매개변수와 분리함으로써 이를 자연스럽게 해결하지만, 대규모 언어 모델(LLM)용으로 설계된 기존 접근법은 SLM이 갖추지 못한 풍부한 저장 공간과 강력한 문맥 내 추론에 의존한다. 이러한 과제를 해결하기 위해, 우리는 제한된 저장 공간 하에서의 지도 CL을 위한 메모리 유도 추론 시점 적응(Memory-Induced Inference-Time Adaptation) 프레임워크 MIITA를 제안한다. MIITA는 지도 경험을 의미적 앵커를 갖춘 압축된 교정 방향 프로토타입으로 저장하고, 의미적 및 불��실성 기반 단서를 사용하여 추론 시점에 이를 검색한다. 검색된 방향은 게이트된 임시 은닉 상태 적응을 통해 적용되며, 백본 업데이트, 프롬프트 확장, 또는 테스트 시점 역전파 없이 과거 지도 정보를 비파괴적으로 재사용할 수 있게 한다. 국소 이론 분석은 이 설계를 1차 손실 감소, 불확실성 안내 검색, 그리고 이전 단계 지식 보존을 위한 방향적 커버리지와 연결한다. 다양한 지도 CL 설정에 걸친 광범위한 실험은 MIITA가 고정된 메모리 예산 하에서 최종 성능을 지속적으로 향상시키고 망각을 완화함을 보여준다.
Nanbeige4.2-3B: 소형 모델에서 에이전트 역량 실현
Nanbeige4.2-3B: Unlocking Agentic Capabilities in a Compact Mode
본 논문은 임베딩을 제외한 30억(non-embedding) 파라미터를 갖춘 소형 범용 에이전트 모델 Nanbeige4.2-3B를 소개한다. 이 모델은 코드 에이전트, 오피스 에이전트, 복잡한 도구 사용 과제 전반에서 강력한 성능을 제공하면서도 수학, 코딩, 과학 분야의 추론 능력을 매우 경쟁력 있는 수준으로 유지한다. Nanbeige4.2-3B는 28T 토큰으로 처음부터 사전학습(pre-training)되었으며, Looped 트랜스포머가 층(layer) 스택을 재사용하여 파라미터를 추가하지 않고 용량(capacity)을 확장한다. SFT 데이터 및 궤적(trajectory) 구성을 위해, 실제 배포와 대규모 합성(synthesis)을 통해 실행 가능한 환경, 과제 자산, 에이전트 스캐폴드(agentic scaffolds)의 다양성을 확대했다. RL 파이프라인은 Think 및 Non-Think 응답에 대한 혼합 모드 RLHF(인간 피드백 강화학습)로 전체 모델 품질을 개선하고 실패 사례를 줄이며, 길이 제어 추론 RL로 정확도와 추론 효율의 균형을 맞추고, 결과 및 과정 보상을 활용한 에이전트 RL로 장기간(long-horizon) 학습을 안정화한다. 광범위한 평가(evaluation) 결과, Nanbeige4.2-3B는 Qwen3.5-9B, Gemma4-12B 등 더 큰 모델들을 다양한 에이전트 벤치마크에서 능가하며, 추론 및 정렬(alignment) 과제에서도 경쟁력 있는 성능을 유지한다. OpenClaw와의 성능은 소형 로컬 개인 비서로서의 활용 가능성을 더욱 뒷받침한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.