본 논문에서는 검색-증강 생성(RAG), 검색 및 출처 요약을 위한 새로운 세대의 소형 추론 모델을 소개합니다. Pleias-RAG-350m 및 Pleias-RAG-1B는 Common Corpus의 다양한 다국어 공개 출처 검색을 모사한 대규모 합성 데이터셋으로 중간 학습(mid-training)되었습니다. 이 모델들은 문자 그대로의 직접 인용을 통한 인용 및 그라운딩(grounding)을 기본적으로 지원하며 질의 라우팅(query routing), 질의 재작성(query reformulation), 출처 재순위화(source reranking)와 같은 RAG 워크플로우 관련 여러 기능들을 재통합합니다. Pleias-RAG-350m 및 Pleias-RAG-1B는 표준화된 RAG 벤치마크(HotPotQA, 2wiki)에서 40억(4B) 개 미만 매개변수의 소형 언어 모델(SLM)들을 능가하며, Qwen-2.5-7B, Llama-3.1-8B, Gemma-3-4B를 포함한 널리 쓰이는 대형 모델들과도 경쟁력 있는 성능을 보입니다. 또한 주요 유럽 언어 전반에서 일관된 RAG 성능을 유지하고 진술에 대한 체계적인 참고 문헌 그라운딩을 보장하는 현재까지 유일한 SLM입니다. 크기가 작아 제한된 인프라에서도 쉽게 배포할 수 있고 설계상 사실성(factuality)이 더 높기 때문에, 이 모델들은 생성형 AI의 다양한 새로운 활용 사례를 열어줍니다.
청구 거절 관리는 미국 의료에서 연간 약 2,600억 달러의 행정 부담 비용을 발생시킨다. 대규모 언어 모델(LLM)과 검색-증강 생성(RAG)은 유창한 임상 텍스트를 생성할 수 있지만, 단일 에이전트 아키텍처는 고위험 의료 환경에서 실패한다: 근거 없는 임상 세부사항을 도입하고 계층적 지불자(payer) 정책의 논리 구조를 잃는다. 우리는 명시적 정책 및 증거 제약 하에서 의료 필요성(medical-necessity) 이의 생성을 위한 다중 에이전트 아키텍처인 AGVF(Agentic Governance and Adversarial Verification Framework)를 제안한다. AGVF는 이의 합성을 다섯 에이전트—정책 형식화, 증거 검색, 격차 분석, 적대적 비평, 게이트된 합성—에 걸친 제약 마르코프 결정 과정(CMDP)으로 모델링한다. 고정된 정책 제약 그래프에 대한 정제(refinement)가 증거 결핍을 단조적으로 감소시키며, 완전한 만족 프론티어 또는 국소화된 증거 격차 중 하나로 종료됨을 증명한다. 결정론적 인용 그라운딩(citation-grounding) 게이트는 허용 가능한 증거 없이 단정이 공유 상태에 들어가는 것을 방지한다. 우리는 참조 구현을 제공하고, 비식별화된 공개 병원 퇴원 데이터에서 매개변수화한 1,000건의 합성 이의 사례에서 이를 검증한다. 검증 결과 모든 AGVF 사례에서 인용 그라운딩 위반이 0건임을 확인했고, 모든 에피소드에서 결핍의 단조 감소가 관찰되었다; 게이트를 제거(ablation)하면 위반이 100%로 증가하여 게이트가 핵심(load-bearing) 구성요소임을 확인했다. 본 연구는 실제 환자 기록을 사용하지 않으며 임상 효능을 측정하지 않는다. 따라서 AGVF는 의료 분야 정책 제약 LLM 생성을 위한 이론 기반 에이전트 아키텍처와 검증된 참조 구현을 기여한다.
본 논문은 MPR-CiteG 프레임워크를 제안하며, 생성형 AI의 두 가지 근본적 과제인 비효율적 검색과 출처 검증 부재를 해결하여 ScienceON AI Challenge에서 2위를 달성했다. MPR-CiteG라고 명명한 이중 구성 시스템을 제안한다. Multi-Portfolio Retriever(MPR)는 다양하고 관련성 높은 정보를 효율적으로 검색하고, Citation-Grounded Generation(CiteG) 모듈은 생성되는 모든 출력이 사실적으로 일관되며 출처에 명시적으로 귀속되도록 보장한다. MPR-CiteG는 정보 생성뿐 아니라 응답을 신뢰할 수 있는 근거에 그라운딩할 수 있는 더 신뢰할 수 있고 정확한 대규모 언어 모델(LLM) 구축을 향한 중요한 진전을 나타내며, 모델 환각과 같은 일반적인 문제를 완화한다. 챌린지 데이터셋에 대한 광범위한 실험을 통해 본 접근법의 효과성과 신뢰성을 검증했다. 코드는 https://github.com/2noweyh/MPR-citeG 에서 제공된다.