History, Development, and Principles of Large Language Models-An Introductory Survey
원문 초록
Language models serve as a cornerstone in natural language processing (NLP), utilizing mathematical methods to generalize language laws and knowledge for prediction and generation. Over extensive research spanning decades, language modeling has progressed from initial statistical language models (SLMs) to the contemporary landscape of large language models (LLMs). Notably, the swift evolution of LLMs has reached the ability to process, understand, and generate human-level text. Nevertheless, despite the significant advantages that LLMs offer in improving both work and personal lives, the limited understanding among general practitioners about the background and principles of these models hampers their full potential. Notably, most LLM reviews focus on specific aspects and utilize specialized language, posing a challenge for practitioners lacking relevant background knowledge. In light of this, this survey aims to present a comprehensible overview of LLMs to assist a broader audience. It strives to facilitate a comprehensive understanding by exploring the historical background of language models and tracing their evolution over time. The survey further investigates the factors influencing the development of LLMs, emphasizing key contributions. Additionally, it concentrates on elucidating the underlying principles of LLMs, equipping audiences with essential theoretical knowledge. The survey also highlights the limitations of existing work and points out promising future directions.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
영아의 구문 학습 연구를 위한 대규모 언어 모델(LLM) 활용에 대한 회고적 분석
A retrospective analysis on the use of LLMs to study infant syntax learning
대규모 언어 모델(LLM)은 아동이 초기 발달 단계에서 구문(syntax)을 어떻게 습득하는지 조사하는 데 점점 더 많이 사용되고 있습니다. 이는 발달상 현실적인 말뭉치(developmentally realistic corpora)로 학습(training)되면서 인간 수준의 구문적 성능을 달성하는 모델을 개발하려는 커뮤니티 전반의 노력인 BabyLM 챌린지의 핵심 과학적 목표이기도 합니다. 본 논문에서는 이러한 연구 프로그램의 여러 연구에 대한 인식론적 평가를 제공함으로써, 영아의 구문 학습 연구에서 LLM을 활용하는 방식에 대해 고찰합니다. 데이터셋(dataset)이 어떻게 구축되는지, 어떤 모델이 구현되는지, 그리고 이들이 어떻게 학습되고 구문론적으로 평가(evaluation)되는지를 논의합니다. 그 결과 BabyLM 및 관련 연구의 방법론에서 중대한 가정이 존재함을 확인하였으며, 이는 이들 연구의 이론적 적용 범위를 제한합니다. 아울러 발달상 현실적인 말뭉치를 사용하는 것이 널리 사용되는 벤치마크(benchmark)에서 모델 성능에 미치는 영향이 제한적임을 관찰하였는데, 이는 LLM과 영아 구문 학습자 간에 중요한 계산적 차이가 존재함을 시사합니다.
Parameter Efficient Fine Tuning Llama 3.1 for Answering Arabic Legal Questions: A Case Study on Jordanian Laws
Induced Model Matching: Restricted Models Help Train Full-Featured Models
Developing Question-Answering Models in Low-Resource Languages: A Case Study on Turkish Medical Texts Using Transformer-Based Approaches
Customising General Large Language Models for Specialised Emotion Recognition Tasks
Boosting Zero-Shot Human-Object Interaction Detection with Vision-Language Transfer
토론
이 논문과 연결된 포럼 글이 아직 없습니다.