PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2510.01427v3cs.AI

소형 언어 모델 에이전트는 효율적이고 고품질의 지식 마이닝을 가능하게 합니다

Small Language Model Agents Enable Efficient and High-Quality Knowledge Mining

딥 리서치(Deep Research)의 핵심은 지식 마이닝(knowledge mining)으로, 이는 사용자 지시에 따라 대규모 비정형 텍스트에서 구조화된 정보를 추출하는 작업입니다. 대규모 언어 모델(LLM)은 이러한 지시를 해석하는 데 탁월하지만 대규모로 배포하기에는 비용이 너무 많이 드는 반면, 분류기(classifier)와 추출기(extractor)의 전통적인 파이프라인은 효율적이지만 취약하여 새로운 작업으로 일반화할 수 없습니다. 우리는 확장 가능한 지식 마이닝을 위해 LLM의 에이전트 추론 능력과 경량 프록시 모델(proxy model)을 결합한 협업 프레임워크인 Falconer를 소개합니다. Falconer에서 LLM은 사용자 지시를 실행 가능한 파이프라인으로 분해하는 플래너(planner)와 소형 프록시를 학습시키기 위한 지도(supervision)를 생성하는 어노테이터(annotator)로 작동합니다. 이 프레임워크는 분류(classification)와 추출을 'get label'과 'get span'이라는 두 가지 원자적 연산으로 통합하여, 단일 지시 따르기 모델(instruction-following model)이 여러 작업별 구성 요소를 대체할 수 있도록 합니다. Falconer가 배양한 프록시 모델과 인간 및 대형 모델이 제공한 주석 간의 일관성을 평가하기 위해, 우리는 계획(planning)과 엔드투엔드 실행을 모두 포괄하는 새로운 벤치마크(benchmark)를 구축했습니다. 실험 결과, Falconer는 추론(inference) 비용을 최대 90%까지 절감하고 대규모 지식 마이닝 속도를 20배 이상 높이면서도 지시 따르기 정확도 면에서 최첨단 LLM과 거의 대등함을 보여주며, 딥 리서치를 위한 효율적이고 확장 가능한 기반을 제공합니다.