arXiv:2611.22432v2 cs.AI

한 번 추론하고 빠르게 행동하기: 의사결정 모델 실행 환경의 비용 효율적 재귀 자기 개선

Think Once, Act Fast: Cost-Effective Recursive Self-Improvement for Decision Model Harness

Siqi Lai, Haitao Li, Hao Liu

제출 2026-11-18

한국어 초록

빠른 시스템 1 모델은 즉각적인 행동을 지원하지만 복잡하거나 낯선 과제를 어려워한다. 대규모 언어 모델(LLM) 기반 시스템 2는 추론 능력이 높으나 반복해서 호출하면 지연 시간과 연산 비용이 커진다. 이를 해결하기 위해 실행 환경을 재귀적으로 개선해 LLM의 추론을 다른 과제에서도 활용할 수 있는 의사결정 지원으로 바꾸는 시스템 1·2 협력 프레임워크 JevRSI를 제안한다. Jev 방식의 시스템 1 모델은 지연 시간을 낮춰 행동을 선택하고, 시스템 2의 LLM은 비동기로 모듈식 실행 환경을 개발한다. 이 환경은 절차, 상태 메모리, 월드 모델을 통합해 과거, 현재, 미래에 걸친 의사결정 문맥을 제공한다. 효용 기반 검색은 문맥 관련성과 이전 과제에서의 효용을 함께 고려해 모듈을 선택한다. 환경의 피드백으로 수정할 곳을 정하고 재귀적으로 개선한다. 데이터셋 세 개의 실험에서 JevRSI는 의사결정 품질을 일관되게 높였고, 여러 설정에서 LLM 에이전트에 견줄 만하거나 더 우수했다. 낮은 실행 지연을 유지하면서 성능과 비용 사이의 균형도 좋았다. 실행 환경이 개선될수록 시스템 2의 개발 개입이 줄어, 지속적 개선을 통해 시스템 2의 비용을 여러 과제에 분산할 수 있었다. 프로젝트는 https://github.com/usail-hkust/JevRSI 에 공개되어 있다.

원문 초록

Fast System-1 models enable responsive actions but struggle with complex or unfamiliar tasks. Large language model (LLM)-based System-2 provides strong reasoning capabilities, yet repeated invocation incurs substantial latency and computational costs. To bridge this gap, we propose JevRSI, a System-1/System-2 collaboration framework that transforms LLM reasoning into transferable decision support through recursive harness improvement. A Jev-style System-1 model enables low-latency action selection, while an asynchronous System-2 LLM develops a modular harness. The harness integrates procedures, state memory, and world models to provide decision contexts spanning the past, present, and future. Utility-driven retrieval selects modules based on both contextual relevance and their utility on previous tasks. Environmental feedback guides targeted revisions and enables recursive self-improvement. Experiments across three datasets show that JevRSI consistently improves decision quality, matching or surpassing LLM agents in several settings. It preserves low-latency execution with favorable performance-cost trade-offs. Moreover, System-2 development interventions decrease as the harness evolves, amortizing System-2 costs through continuous improvement. Our project is available at https://github.com/usail-hkust/JevRSI.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.22432v2제출 시각 미확인
  2. arXiv:2611.22432v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.