Studying the impacts of pre-training using ChatGPT-generated text on downstream tasks
원문 초록
In recent times, significant advancements have been witnessed in the field of language models, particularly with the emergence of Large Language Models (LLMs) that are trained on vast amounts of data extracted from internet archives. These LLMs, such as ChatGPT, have become widely accessible, allowing users to generate text for various purposes including articles, essays, jokes, and poetry. Given that LLMs are trained on a diverse range of text sources, encompassing platforms like Reddit and Twitter, it is foreseeable that future training datasets will also incorporate text generated by previous iterations of the models themselves. In light of this development, our research aims to investigate the influence of artificial text in the pre-training phase of language models. Specifically, we conducted a comparative analysis between a language model, RoBERTa, pre-trained using CNN/DailyMail news articles, and ChatGPT, which employed the same articles for its training and evaluated their performance on three downstream tasks as well as their potential gender bias, using sentiment analysis as a metric. Through a series of experiments, we demonstrate that the utilization of artificial text during pre-training does not have a significant impact on either the performance of the models in downstream tasks or their gender bias. In conclusion, our findings suggest that the inclusion of text generated by LLMs in their own pre-training process does not yield substantial effects on the subsequent performance of the models in downstream tasks or their potential gender bias.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
RooseBERT: 정치 언어 모델링을 위한 새로운 협정
RooseBERT: A New Deal For Political Language Modelling
정치 토론 및 정치 관련 논의가 증가함에 따라, 시민들에게 정치적 숙의를 더 명확히 전달한다는 최종 목표를 위해 이러한 콘텐츠를 자동으로 분석할 수 있는 새로운 계산 방법을 정의해야 할 필요성이 제기되고 있습니다. 그러나 정치 언어의 특수성과 이러한 토론의 논증적 형식(숨겨진 커뮤니케이션 전략을 사용하고 함축적 논증을 활용하는 방식)은 현재의 범용 사전학습 언어 모델(LM)에게도 이 작업을 매우 어렵게 만듭니다. 이를 해결하기 위해, 우리는 정치 담론 언어를 위한 새로운 사전학습 언어 모델(LM)인 RooseBERT를 소개합니다. 특화된 도메인에서 언어 모델(LM)을 사전학습하는 것은 막대한 계산 자원과 대규모 데이터를 필요로 하는 다양한 기술적 및 언어적 도전 과제를 야기합니다. RooseBERT는 영어로 된 대규모 정치 토론 및 연설 말뭉치(11GB)에서 학습되었습니다. 성능을 평가하기 위해, 우리는 정치 토론 분석과 관련된 여러 다운스트림(downstream) 태스크, 즉 입장 탐지, 감성 분석, 논증 구성 요소 탐지 및 분류, 논증 관계 예측 및 분류, 정책 분류, 개체명 인식(NER)에 대해 모델을 파인튜닝(fine-tuning)했습니다. 우리의 결과는 이러한 태스크의 대다수에서 범용 언어 모델(LM) 대비 개선된 성과를 보여주며, 도메인 특화 사전학습이 정치 토론 분석의 성능을 어떻게 향상시키는지 강조합니다. 우리는 연구 커뮤니티를 위해 RooseBERT를 공개합니다.
경찰 관련 사망 뉴스 보도 25년 간의 미디어 대표성 동학 정량화
Quantifying Media Representation Dynamics Across 25 Years of News Reporting on Policing-related Deaths
우리는 지난 25년 동안의 4,000개 기사를 아우르는 경찰 개입 사망에 대한 캐나다 뉴스 내러티브에 대해 가장 규모가 큰 계산적 분석을 수행했습니다. 우리는 경찰 활동에 대한 미디어 대표성에 관한 이전 사회학적 연구에 기반한 새로운 계산 모델인 PerspectiveGap을 개발했습니다. 우리는 경찰 개입 사망에 대한 보도가 평균적으로 유가족, 지역 사회 구성원, 목격자, 가족 대변 변호사, 시민 자유 단체를 포함한 일반 대중의 다른 구성원들의 관점보다 국가 관료의 관점을 거의 3배 더 높은 비율로 담고 있음을 발견했습니다. 상당 부분의 기사는 민간 행위자의 관점을 전혀 포함하지 않지만, 최근 몇 년간 민간 대표성이 증가했습니다. 정성적으로, 국가 관료들의 이러한 사망에 대한 설명은 임상적이고 절차적인 경향이 있는 반면, 민간 담론은 상당히 더 많은 정서적 가치를 띠는 것으로 나타났습니다. 여기서 개발된 PerspectiveGap 프레임워크는 다른 관할권에 맥락화될 수 있으며, 미디어 시스템이 경찰 활동과 책임성을 둘러싼 내러티브를 어떻게 구성하는지 분석하기 위한 확장 가능한 접근 방식을 제공합니다.
Automatic Nostalgia Detection from Bengali Text
Contextual Emotion Recognition Using Transformer-Based Models
DIBERT: Dependency Injected Bidirectional Encoder Representations from Transformers
Wieszcz-XIX: 31억 단어 규모의 1918년 이전 폴란드어 코퍼스와 처음부터 학습된 시간적 제약 언어 모델
Wieszcz-XIX: A 3.1-Billion-Word Corpus of Pre-1918 Polish and Temporally Bounded Language Models Trained From Scratch
역사적 폴란드어는 언어로서 잘 문서화되어 있으나, 본 논문에서 다루는 시기의 기계 가독형 주석 데이터는 약 100만 단어에 불과하며, 나머지는 품질이 다양한 광학 문자 인식(OCR) 상태로 남아 있습니다. 본 논문에서는 1800년부터 1918년 사이에 출판된 폴란드어 문헌(대부분 정기간행물 호) 294,369개 문서, 67억 5천만 토큰(약 31억 단어) 규모의 코퍼스인 Wieszcz-XIX를 제시합니다. 이는 필터링, 중복 제거, 1918년 이후 데이터 유출 감사 및 문서 수준 분할을 수행하는 파이프라인을 통해 Wolne Lektury 및 Internet Archive로부터 수집되었습니다. 이 코퍼스는 동일한 시기의 주석 코퍼스보다 3자릿수 이상(1,000배 이상) 크며, 본 연구에서는 그 결함을 정량화합니다. 즉, 위양성 하한 기준의 인식 오류, 제거된 유사 중복, 그리고 전사된 출처에서 발견된 0.04~0.38% 바이트 수준의 알려진 잔여물을 제외하고 학습(training) 코퍼스 자체에서 배제된 1918년 이후 데이터 유출을 정량화하여, 공개된 코퍼스가 문서 단위로 학습에 사용된 코퍼스와 동일하도록 구성했습니다. 수작업으로 교정된 표본에서 텍스트 판독이 가능한 경우 문자 오차율(CER)은 0.68%이며, 표본 구절의 45%는 교정이 불가능했습니다. 이 데이터를 기반으로 47M부터 349M 매개변수 규모의 디코더 전용(decoder-only) 모델 계층을 처음부터(from scratch) 학습하고 시간적 제약성(temporal boundedness)을 측정합니다. 훨씬 더 큰 모델을 포함한 두 개의 현대 폴란드어 베이스 모델과 비교했을 때, 349M 모델은 역전 현상(crossover)을 보였으며 동일 규모의 비교 모델 대비 107M 모델 또한 유사한 역전 현상을 나타냈습니다. 1918년 이후 어휘는 비교 모델에서는 나타나지 않는 격차로서 해당 시대 어휘보다 약 3.1비트/바이트 더 많은 비용이 들었으며, 해당 시대 어휘는 비교 모델보다 더 적은 비트를 소모했습니다. 해당 시대의 텍스트가 주어졌을 때 본 모델들은 그 철자법을 유지한 반면 비교 모델들은 부분적으로만 유지했습니다. 매개변수를 늘리는 것이 데이터를 2회 순회(second pass)하는 것보다 약 2배 더 높은 성능 향상을 얻었습니다. 코퍼스, 코드, 가중치를 함께 공개합니다. 콘텐츠 주의: 모델은 반유대주의적 발언을 포함하여 당시 시대의 편견을 재현합니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.