pleias.fr

이 이메일 도메인이 관측된 논문 2건

arXiv:2604.18226v2cs.CL

곤경에 처한 모델: 프랑스어 합성 소셜 미디어 기반 감성 분석

Model in Distress: Sentiment Analysis on French Synthetic Social Media

소셜 미디어상의 고객 피드백 자동 분석은 레이블이 지정된 학습(training) 데이터의 높은 비용, 특히 다국어 환경에서의 평가 셋 부족, 데이터 공유 및 재현성을 저해하는 개인정보 보호 문제라는 세 가지 난관에 직면해 있습니다. 본 연구에서는 프랑스 대중교통 이용객의 불만/곤경 감지 사례 연구에 적용 가능한 일반화된 합성 데이터 생성 파이프라인을 개발하여 이러한 문제를 해결합니다. 우리의 접근 방식은 파인튜닝(fine-tuning)된 모델을 활용한 역번역(backtranslation)을 통해 소규모 시드 코퍼스로부터 170만 건의 합성 트윗을 생성하고, 여기에 합성 추론 경로(synthetic reasoning traces)를 보완합니다. 영어 및 프랑스어 추론 능력을 갖춘 6억 개의 매개변수(600M-parameter)를 가진 추론 모델을 학습시켰으며, 이 모델은 사람이 주석을 단 평가 데이터에서 77~79%의 정확도를 달성하여 SOTA 상용 대규모 언어 모델(LLM) 및 특화된 인코더와 동등하거나 이를 뛰어넘는 성능을 보였습니다. 본 파이프라인은 주석 비용을 절감하는 것을 넘어 민감한 사용자 데이터 노출을 제거함으로써 개인정보를 보호합니다. 우리의 방법론은 다른 사용 사례 및 언어에도 적용될 수 있습니다.

arXiv:2506.01732v4cs.CL

Common Corpus: LLM 사전학습을 위한 윤리적 데이터의 최대 규모 컬렉션

Common Corpus: The Largest Collection of Ethical Data for LLM Pre-Training

대규모 언어 모델(LLM)은 다양한 출처와 도메인에서 수집된 방대한 양의 데이터로 사전학습(pre-training)됩니다. 이러한 데이터셋(dataset)은 종종 수조 개의 토큰을 포함하며, 상당 부분이 저작권으로 보호되거나 독점적인 콘텐츠로 구성되어 있어 해당 모델의 법적 사용에 대한 의문을 제기합니다. 이는 데이터 보안 및 보호 규정을 준수하는 진정한 개방형 사전학습 데이터의 필요성을 강조합니다. 본 논문에서는 LLM 사전학습을 위한 최대 규모의 공개 데이터셋인 Common Corpus를 소개합니다. Common Corpus에 수집된 데이터는 저작권이 없거나 오픈 라이선스 하에 있으며, 총 약 2조 개의 토큰에 달합니다. 이 데이터셋은 고자원 유럽 언어부터 사전학습 데이터셋에서 거의 다루어지지 않는 일부 저자원 언어에 이르기까지 매우 다양한 언어를 포함하고 있습니다. 또한 대량의 코드 데이터도 포함합니다. 포함된 도메인과 기간 측면에서 데이터 출처의 다양성은 다양한 지식 분야에 걸쳐 연구 및 창업 수요 모두를 위한 길을 열어줍니다. 본 논문에서는 데이터 수집의 상세한 출처와 데이터셋 필터링 및 큐레이션 세부 정보를 제시합니다. 우리는 Common Corpus로 두 개의 소형 언어 모델을 학습(training)시켰으며, 동일한 크기의 다른 모델들과 유사한 성능을 보임을 확인하여 본 데이터셋이 다국어 사전학습에 적합함을 입증했습니다. Common Corpus는 대규모 언어 모델에 관한 오픈 사이언스 연구 생태계에 중요한 기여를 제공합니다.