PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.25081v1cs.CL

ufakzeka-1: 밑바닥부터 구축하고 평가한 1억 5,100만 매개변수의 튀르키예어 언어 모델

ufakzeka-1: Building and Evaluating a 151M-Parameter Turkish Language Model from Scratch

본 논문에서는 클라우드 GPU, API, 노트북 사용 시간을 합쳐 총 약 286달러의 비용으로 공개 라이선스 텍스트 135억 토큰(token)을 사용해 밑바닥부터 사전학습(pre-training)하고 대화용으로 인스트럭션 튜닝(instruction tuning)한 1억 5,100만 매개변수(임베딩 포함 시 1억 8,200만) 디코더 전용 튀르키예어 언어 모델인 ufakzeka-1을 소개한다. 본 연구의 기여는 이 크기의 모델에서 기대할 수 있는 수준인 모델의 성능 자체가 아니라, 이를 구축하고 측정한 기록에 있다. 즉, 단어당 1.77개 토큰 수준의 튀르키예어 바이트 단위 토크나이저, 3단계 사전학습 일정, 공개 라이선스 데이터와 생성 데이터의 사후 학습(post-training) 혼합, 그리고 출시 게이트(release gate), 규칙 검증을 거친 5,508개 대화 스윕, 판정 대화 및 수동 테스트로 구성된 평가 세트를 포함한다. 이 모든 평가는 학습(training) 데이터 구축 과정 내 오염 제거와 각 빌드 전에 실행되는 커밋된 불변성 검사 스크립트를 통해 강제하여 학습 데이터에서 제외된 프롬프트(prompt)로 수행되었다. 우리는 다른 소형 모델 연구에도 적용될 수 있다고 생각되는 세 가지 결과를 보고한다. 첫째, 자체 질문으로 작성된 학습 데이터로 "수정"되었던 안전성(safety) 게이트는 정직한 수치가 34/64였던 반면 64/64로 나타났다. 둘째, 학습 시드(seed) 간 분산이 우리가 시도한 모든 레시피 전반의 편차만큼 컸으므로 이 규모에서 단일 시드 비교는 유의미한 정보를 제공하지 않는다. 셋째, 데이터 라운드는 데이터에 부재했던 부분만을 복구했을 뿐 긴 문맥에서의 정체성 추적과 다중 턴(multi-turn) 산술 연산은 시도한 어떤 데이터 변화에도 개선되지 않았으며, 우리는 이를 데이터의 공백이라기보다는 모델 크기의 한계로 해석했고 이는 다음 대형 모델에서 검증될 것이다. 가중치, 데이터 레시피, 평가 코드, 지출 내역 장부는 Apache-2.0 라이선스로 공개된다.