행동이 아닌 공간 전략: LLM 기반 에이전트를 위한 도구로서의 벡터 양자화 측지선
Spatial Strategies, Not Actions: Vector-Quantized Geodesics as Tools for LLM-Driven Agents
대규모 언어 모델(LLM) 기반 에이전트(agent)는 공간 이해력이 부족하고 주로 통계적 텍스트 패턴만을 활용한다는 비판을 자주 받습니다. 본 연구에서는 그리드 월드 환경(environment)에서 기하학적 도구와 상위 수준 오케스트레이터 역할을 하는 LLM을 결합한 아키텍처를 통해 이들의 공간 이해력을 조사합니다. 에이전트는 먼저 측지선 궤적(geodesic trajectory)을 수집하고, 이를 벡터 양자화(quantization)하여 대표적인 하위 집합을 추출합니다. 오프라인 단계에서 LLM은 선택된 각 궤적에 내재된 행동 패턴에 대한 자연어 설명을 연결하여 도구로 만듭니다. 온라인 단계에서는 LLM이 현재 상태와 목표에 맞춰 적절한 도구를 선택합니다. 하위 수준 제어는 도구와 연계된 궤적을 실행하는 기본 행동(primitive action)으로 처리됩니다. 에이전틱 AI 관점에서 이러한 접근 방식은 학습을 두 단계로 분리합니다. 즉, 도구 발견은 궤적의 비지도 양자화를 통해 처리되며, 추론과 의사결정은 LLM이 담당합니다. 오픈 비전-언어 모델(vision-language model)(Qwen3.6-35B-A3B)을 사용하여 부분 관측 가능한 동적 2D 그리드 환경에서 이 접근 방식을 테스트합니다. 기하학 기반 도구 라이브러리를 에이전트 중심 줌 도구 및 충돌 감지 도구와 결합함으로써, 빠르고 비추론적인 구성으로도 훨씬 비용이 많이 드는 사고의 연쇄(Chain-of-Thought) 버전의 목표 도달률과 동등한 성능을 달성하는 동시에 의사결정 비용을 수분에서 수초 단위로 단축할 수 있었습니다.