arXiv:2404.00399

Aurora-M: Open Source Continual Pre-training for Multilingual Language and Code

Taishi Nakamura, Mayank Mishra, Simone Tedeschi, Yekun Chai, Jason T Stillerman, Felix Friedrich, Prateek Yadav, Tanmay Laud, Vu Minh Chien, Terry Yue Zhuo, Diganta Misra, Ben Bogin, Xuan-Son Vu, Marzena Karpinska, Arnav Varma Dantuluri 외 30명

제출 2024-03-30

원문 초록

Pretrained language models are an integral part of AI applications, but their high computational cost for training limits accessibility. Initiatives such as Bloom and StarCoder aim to democratize access to pretrained models for collaborative community development. Despite these efforts, such models encounter challenges such as limited multilingual capabilities, risks of catastrophic forgetting during continual pretraining, and the high costs of training models from scratch, alongside the need to align with AI safety standards and regulatory frameworks. This paper presents Aurora-M, a 15B parameter multilingual open-source model trained on English, Finnish, Hindi, Japanese, Vietnamese, and code. Continually pretrained from StarCoderPlus on 435B additional tokens, Aurora-M surpasses 2T tokens in total training token count. It is the first open-source multilingual model fine-tuned on human-reviewed safety instructions, thus aligning its development not only with conventional red-teaming considerations, but also with the specific concerns articulated in the Biden-Harris Executive Order on the Safe, Secure, and Trustworthy Development and Use of Artificial Intelligence. We evaluate Aurora-M across a wide range of tasks and languages, showcasing its robustness against catastrophic forgetting and its superior performance in multilingual settings, particularly in safety evaluations. We open-source Aurora-M and its variants to encourage responsible open-source development of large language models at https://huggingface.co/aurora-m.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2508.08011v2cs.CL공통 태그 Language Modelling, Continual Pretraining

최적 수송 기반 깊이 업스케일링

Optimal Transport Depth Up-Scaling

대규모 언어 모델(LLM)을 더 큰 규모로 바닥부터 사전학습(pre-training)하면 놀라운 성능을 얻을 수 있지만 상당히 높은 학습 비용이 발생합니다. 깊이 업스케일링(depth up-scaling)은 사전학습된 LLM에 새로운 층(layer)을 삽입하여 바닥부터 학습하는 것을 피하는 효율적인 대안을 제공합니다. 그러나 대부분의 기존 방식은 새로운 층을 만들기 위해 베이스 층을 복사하거나 평균화하는데, 이는 기능적으로 대응하는 뉴런들의 정렬을 어긋나게 하여 뉴런 순열 불일치(neuron permutation mismatch)를 유발하고 성능을 저하시킵니다. 이러한 문제를 해결하기 위해, 우리는 최적 수송(Optimal Transport, OT) 이론을 활용하여 새로운 층 구축 시 인접한 베이스 층의 기능적으로 대응하는 뉴런들을 모듈 단위로 정렬하고 융합하는 최적 수송 깊이 업스케일링(OT-DUS)을 제안합니다. OT-DUS는 다양한 모델 크기와 모델 계열에 걸친 지속적 사전학습 및 지도 미세조정(supervised fine-tuning)에서 일반 및 특화 도메인 모두 기존 방식보다 더 우수한 전반적 성능을 달성합니다. 또한 삽입 전략에 대한 분석을 통해 새로운 층을 더 높은 위치에 삽입할수록 더 강력한 성능뿐만 아니라 향상된 학습 효율성까지 얻을 수 있음을 발견했습니다.

arXiv:2606.09701v2cs.CL공통 태그 Language Modelling, Red Teaming

공격과 방어의 학습: GRPO를 통한 언어 모델의 적응형 레드팀 테스팅

Learning to Attack and Defend: Adaptive Red Teaming of Language Models via GRPO

언어 모델의 안전성(safety)은 진화하는 공격에 지속적으로 적응해야 합니다. 최근 연구들은 PPO 방식의 자가 대국(self-play) 및 DPO 방식의 온라인 선호도 최적화를 적용하여 공격자 및 방어자 모델을 함께 더 강력하게 훈련할 수 있음을 입증했습니다. 본 연구에서는 이러한 설정에서 GRPO의 효과를 탐구합니다. 공격자와 방어자의 여러 속성을 공동으로 최적화해야 하므로 공동 학습(co-training)은 까다로울 수 있습니다. 이에 따라 저자들은 여러 대규모 언어 모델(LLM) 심사위원 기반 보상 채널을 사용하여 모델 출력을 형성하고, 단일 채널이 지배적이지 않도록 GDPO로 이점(advantage)을 계산합니다. 제안하는 방법은 공격자 전용 단일 턴 및 다중 턴 학습에서 공격자와 방어자 모델을 번갈아 업데이트하는 공동 학습으로 발전하는 커리큘럼을 사용합니다. 이를 통해 매우 효과적이고 전이 가능한 공격을 생성하며, 공동 학습된 방어자가 일반적인 유용성을 보존하면서도 경쟁력 있는 안전성에 도달함을 보여줍니다. 또한 통제된 절제 연구(ablation study)를 통해 학습 파이프라인의 어떤 구성 요소가 결과적인 안전성과 유용성 간의 균형에 가장 큰 영향을 미치는지 밝혀냅니다. 마지막으로 GRPO가 학습 과정에서 공격자의 다양성을 붕괴시키는 경향이 있음을 발견하고 이러한 한계를 해결하기 위한 방안을 논의합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.