대규모 언어 모델과 소규모 언어 모델 간 협업 메커니즘에 관한 서베이
A Survey on Collaborative Mechanisms Between Large and Small Language Models
한국어 초록
대규모 언어 모델(LLM)은 강력한 AI 능력을 제공하지만 높은 자원 비용과 지연 시간으로 인해 배포에 어려움이 있으며, 소규모 언어 모델(SLM)은 성능이 낮아지는 대신 효율성과 배포 용이성을 제공한다. LLM과 SLM의 협업은 이러한 상충 관계를 상승적으로 균형 있게 조절하는 핵심 패러다임으로 부상하고 있으며, 특히 자원이 제한된 엣지 장치에서 고급 AI 응용을 가능하게 한다. 본 서베이는 LLM-SLM 협업에 대한 포괄적인 개요를 제공하며, 다양한 상호작용 메커니즘(파이프라인, 라우팅, 보조, 증류, 융합), 핵심 활성화 기술, 그리고 낮은 지연 시간, 프라이버시, 개인화, 오프라인 동작과 같은 온디바이스 요구에 의해 촉진되는 다양한 응용 시나리오를 상세히 다룬다. 더 효율적이고 적응적이며 접근 가능한 AI를 만들 수 있는 상당한 잠재력을 강조하는 한편, 시스템 오버헤드, 모델 간 일관성, 견고한 작업 할당, 평가의 복잡성, 보안·프라이버시 우려를 포함한 지속적인 과제도 논의한다. 향후 방향으로는 더 지능적인 적응형 프레임워크, 더 깊은 모델 융합, 멀티모달 및 임바디드 AI로의 확장이 제시되며, 이는 LLM-SLM 협업을 차세대 실용적이고 보편적인 인공지능의 핵심 동인으로 자리매김한다.
원문 초록
Large Language Models (LLMs) deliver powerful AI capabilities but face deployment challenges due to high resource costs and latency, whereas Small Language Models (SLMs) offer efficiency and deployability at the cost of reduced performance. Collaboration between LLMs and SLMs emerges as a crucial paradigm to synergistically balance these trade-offs, enabling advanced AI applications, especially on resource-constrained edge devices. This survey provides a comprehensive overview of LLM-SLM collaboration, detailing various interaction mechanisms (pipeline, routing, auxiliary, distillation, fusion), key enabling technologies, and diverse application scenarios driven by on-device needs like low latency, privacy, personalization, and offline operation. While highlighting the significant potential for creating more efficient, adaptable, and accessible AI, we also discuss persistent challenges including system overhead, inter-model consistency, robust task allocation, evaluation complexity, and security/privacy concerns. Future directions point towards more intelligent adaptive frameworks, deeper model fusion, and expansion into multimodal and embodied AI, positioning LLM-SLM collaboration as a key driver for the next generation of practical and ubiquitous artificial intelligence.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2505.07460v2제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.