작은 추론 모델도 출처를 인용해야 한다: Pleias-RAG 모델 패밀리 소개
Even Small Reasoners Should Quote Their Sources: Introducing the Pleias-RAG Model Family
본 논문에서는 검색-증강 생성(RAG), 검색 및 출처 요약을 위한 새로운 세대의 소형 추론 모델을 소개합니다. Pleias-RAG-350m 및 Pleias-RAG-1B는 Common Corpus의 다양한 다국어 공개 출처 검색을 모사한 대규모 합성 데이터셋으로 중간 학습(mid-training)되었습니다. 이 모델들은 문자 그대로의 직접 인용을 통한 인용 및 그라운딩(grounding)을 기본적으로 지원하며 질의 라우팅(query routing), 질의 재작성(query reformulation), 출처 재순위화(source reranking)와 같은 RAG 워크플로우 관련 여러 기능들을 재통합합니다. Pleias-RAG-350m 및 Pleias-RAG-1B는 표준화된 RAG 벤치마크(HotPotQA, 2wiki)에서 40억(4B) 개 미만 매개변수의 소형 언어 모델(SLM)들을 능가하며, Qwen-2.5-7B, Llama-3.1-8B, Gemma-3-4B를 포함한 널리 쓰이는 대형 모델들과도 경쟁력 있는 성능을 보입니다. 또한 주요 유럽 언어 전반에서 일관된 RAG 성능을 유지하고 진술에 대한 체계적인 참고 문헌 그라운딩을 보장하는 현재까지 유일한 SLM입니다. 크기가 작아 제한된 인프라에서도 쉽게 배포할 수 있고 설계상 사실성(factuality)이 더 높기 때문에, 이 모델들은 생성형 AI의 다양한 새로운 활용 사례를 열어줍니다.