PyTorchKR Papers

최신 논문

총 3편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2504.18225v2cs.CL

작은 추론 모델도 출처를 인용해야 한다: Pleias-RAG 모델 패밀리 소개

Even Small Reasoners Should Quote Their Sources: Introducing the Pleias-RAG Model Family

본 논문에서는 검색-증강 생성(RAG), 검색 및 출처 요약을 위한 새로운 세대의 소형 추론 모델을 소개합니다. Pleias-RAG-350m 및 Pleias-RAG-1B는 Common Corpus의 다양한 다국어 공개 출처 검색을 모사한 대규모 합성 데이터셋으로 중간 학습(mid-training)되었습니다. 이 모델들은 문자 그대로의 직접 인용을 통한 인용 및 그라운딩(grounding)을 기본적으로 지원하며 질의 라우팅(query routing), 질의 재작성(query reformulation), 출처 재순위화(source reranking)와 같은 RAG 워크플로우 관련 여러 기능들을 재통합합니다. Pleias-RAG-350m 및 Pleias-RAG-1B는 표준화된 RAG 벤치마크(HotPotQA, 2wiki)에서 40억(4B) 개 미만 매개변수의 소형 언어 모델(SLM)들을 능가하며, Qwen-2.5-7B, Llama-3.1-8B, Gemma-3-4B를 포함한 널리 쓰이는 대형 모델들과도 경쟁력 있는 성능을 보입니다. 또한 주요 유럽 언어 전반에서 일관된 RAG 성능을 유지하고 진술에 대한 체계적인 참고 문헌 그라운딩을 보장하는 현재까지 유일한 SLM입니다. 크기가 작아 제한된 인프라에서도 쉽게 배포할 수 있고 설계상 사실성(factuality)이 더 높기 때문에, 이 모델들은 생성형 AI의 다양한 새로운 활용 사례를 열어줍니다.

arXiv:2606.30775v1cs.CL

단 한 번의 재작성으로 충분하다: 프로덕션 스킬 설명 최적화에서 얻은 실증적 교훈

A Single Rewrite Suffices: Empirical Lessons from Production Skill Description Optimization

엔터프라이즈 AI 에이전트에서 스킬 설명이 겹쳐 쿼리 라우팅이 실패하는 스킬 충돌(skill collision) 문제를 해결하기 위해, 거짓 양성/거짓 음성 케이스를 활용한 자동화된 설명 최적화 파이프라인을 프로덕션 환경에 배포한 결과, 단 한 번의 LLM 재작성만으로도 수동 튜닝(79.4% F1)과 동등한 성능(79.2% F1)을 달성하면서 엔지니어링 시간을 120분에서 3.8분으로 32배 단축할 수 있었다. 또한 학습-검증 F1 격차를 진단 지표로 활용하면 텍스트 수준 최적화로 해결 불가능한 스킬 간 범위 중복 문제를 아키텍처 개입이 필요한 케이스로 식별할 수 있음을 보였다.

arXiv:2606.27457v1cs.PF

클러스터, 라우팅, 에스컬레이션: 비용을 고려한 LLM 서빙 캐스케이드 프레임워크

Cluster, Route, Escalate: Cascaded Framework for Cost-Aware LLM Serving

쿼리를 k-means로 클러스터링한 뒤 비용 대비 최적 모델로 라우팅하는 1단계와, 저품질 출력을 강력한 모델로 에스컬레이션하는 품질 추정(QE) 캐스케이드 2단계로 구성된 2단계 LLM 서빙 프레임워크를 제안한다. AIME 2024 및 TeleQnA 벤치마크에서 가장 강력한 모델 정확도의 97~99%를 유지하면서 출력 토큰당 시간(TPOT)을 최대 18% 단축하는 성능을 보였다.