The Sociolinguistic Foundations of Language Modeling
원문 초록
In this paper, we introduce a sociolinguistic perspective on language modeling. We claim that large language models are inherently models of varieties of language, and we consider how this insight can inform the development and deployment of large language models. We begin by presenting a technical definition of the concept of a variety of language as developed in sociolinguistics. We then discuss how this perspective can help address five basic challenges in language modeling: social bias, domain adaptation, alignment, language change, and scale. Ultimately, we argue that it is crucial to carefully define and compile training corpora that accurately represent the specific varieties of language being modeled to maximize the performance and societal value of large language models.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
TransBERT: 도메인 특화 언어 모델링을 위한 합성 번역 프레임워크
TransBERT: A Framework for Synthetic Translation in Domain-Specific Language Modeling
전문 도메인에서 비영어권 언어 데이터가 부족하다는 점은 효과적인 자연어 처리(NLP) 도구의 개발을 크게 제한한다. 본 논문에서는 오직 합성 번역된 텍스트만을 사용하여 언어 모델을 사전학습하는 새로운 프레임워크인 TransBERT를 제시하고, 확장 가능한 번역 툴킷인 TransCorpus를 함께 소개한다. 프랑스어 생명과학 도메인에 초점을 맞춘 본 접근법은, 합성 번역 데이터만을 활용하여도 다양한 다운스트림 태스크에서 최고 수준(state-of-the-art)의 성능을 달성할 수 있음을 보여준다. 우리는 TransCorpus 툴킷, TransCorpus-bio-fr 코퍼스(36.4GB 분량의 프랑스어 생명과학 텍스트), 이와 연관된 사전학습 언어 모델인 TransBERT-bio-fr, 그리고 사전학습과 미세조정 모두를 위한 재현 가능한 코드를 공개한다. 본 연구의 결과는 자원이 풍부한 번역 방향에서의 합성 번역이, 저자원 언어/도메인 쌍에서 고품질 NLP 자원을 구축하는 데 실효성이 있음을 보여준다.
로짓 바이어스를 통한 놀라울 정도로 간단한 언어 모델 블랙박스 적응
Frustratingly Simple Black-Box Adaptation of Language Models via Logit Bias
많은 조직은 도메인 특화 작업에서의 성능 향상과 민감한 데이터에 대한 프라이버시 우려 해결 모두를 위해 내부 사용에 맞게 언어 모델을 적응시키려 한다. 그러나 이러한 적응은 여전히 쉽지 않다. 이는 종종 오픈소스 모델의 운영상 어려운 미세조정이나 임시방편적인 프롬프트 최적화를 필요로 한다. 우리는 간단한 API 수준의 제어에 기반한 최소한의 대안을 연구한다. 사용자가 사용자 정의 벡터로 모델의 로짓에 바이어스를 부여할 수 있게 하는 것이다. 우리는 모델 가중치를 수정하거나 그래디언트를 요구하지 않고, 모든 디코딩 단계에 더해지는 단일 문맥 독립적 로짓-바이어스 벡터를 학습하는 블랙박스 방법을 개발한다. KL 정규화 강화학습(RL) 목적 함수에서 출발하여, 이러한 고정 로짓-바이어스 벡터가 최적의 접두 문맥 의존적 보정을 근사할 수 있는 조건을 특성화하고, 롤아웃, 보상, 토큰 확률로부터 폐형식 역-경향성(inverse-propensity) 추정량을 유도한다. 실험적으로, 이 간단한 디코딩 시점 개입은 기존 미세조정보다 훨씬 적은 학습 가능 매개변수를 사용하면서 수학 및 추론 벤치마크에서 기본 모델 대비 성능을 향상시킨다. 우리의 결과는 학습된 로짓 바이어스가 최소한의 접근 요건 하에서 언어 모델을 적응시키는 경량 메커니즘임을 시사한다.
Parameter Efficient Fine Tuning Llama 3.1 for Answering Arabic Legal Questions: A Case Study on Jordanian Laws
Induced Model Matching: Restricted Models Help Train Full-Featured Models
Developing Question-Answering Models in Low-Resource Languages: A Case Study on Turkish Medical Texts Using Transformer-Based Approaches
Customising General Large Language Models for Specialised Emotion Recognition Tasks
토론
이 논문과 연결된 포럼 글이 아직 없습니다.