순간마다 더 똑똑해지기: 지속적인 LLM 향상을 위한 환경 주도적 동적 정책
Smarter by the Moment: Environment-Driven Dynamic Policies for Continual LLM Improvement
한국어 초록
대규모 언어 모델(LLM)은 다양한 도메인에서 괄목할 만한 발전을 이루었으나, 진화하는 태스크와 환경에 지속적으로 적응하는 것은 여전히 주요 과제로 남아 있습니다. 기존의 메모리 증강 방식은 과거의 개별 사례를 직접적인 참조로 검색하지만, 이들로부터 실행 가능한 전략을 명시적으로 종합하지 못해 동일한 유형의 오류가 반복 발생합니다. 본 논문에서는 지속적인 LLM 향상을 위해 메모리 기반 검색과 동적 정책 생성기를 통합하고, 과거 데이터와 환경 피드백을 활용하여 태스크별 맞춤 정책을 생성하는 프레임워크인 동적 검색 기반 정책 생성(DRPG)을 제안합니다. 상용 및 오픈 가중치 계열의 7개 LLM을 사용하여 text-to-SQL, 질문 답변, 의학적 진단, Python 프로그래밍에 이르는 6개 벤치마크에서 DRPG를 평가합니다. DRPG는 대부분의 데이터셋과 모델에서 강력한 베이스라인을 능가합니다. 추가 분석을 통해 DRPG의 정책 생성이 검색 전략에 대해 강건하고 이전 정책의 연속성 없이도 효과적으로 작동하며, 더 작거나 다른 계열의 모델을 비용 효율적인 정책 생성기로 활용할 수 있음을 입증합니다. 또한 정책 수준 가이던스의 이점이 태스크 특성에 따라 달라진다는 점을 밝혀냄으로써, 이 메커니즘이 언제 어떤 조건에서 가장 효과적인지에 대한 실용적인 통찰을 제공합니다.
원문 초록
Large Language Models (LLMs) have achieved remarkable progress across diverse domains, but continual adaptation to evolving tasks and environments remains a key challenge. Existing memory-augmented approaches retrieve individual past examples as direct references, but do not explicitly synthesize actionable strategies from them, causing the same types of errors to recur. We propose Dynamic Retrieval-based Policy Generation (DRPG), a framework that integrates memory-based retrieval with a dynamic policy generator, leveraging historical data and environment feedback to produce task-specific policies for continual LLM improvement. We evaluate DRPG across six benchmarks spanning text-to-SQL, question answering, medical diagnosis, and Python programming, using seven LLMs from both proprietary and open-weight families. DRPG outperforms strong baselines across most datasets and models. Further analysis demonstrates that DRPG's policy generation is robust to retrieval strategy, operates effectively without prior policy continuity, and can leverage smaller or cross-family models as cost-efficient policy generators. We also find that the benefit of policy-level guidance depends on task characteristics, offering practical insights into when and under what conditions this mechanism is most effective.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2609.16800v2제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.