World State Generator
World State Generator
언어 에이전트(agent)는 계획과 행동을 통해 복잡한 작업을 해결한다. 세계(world)가 거부하는 단 한 번의 단계만으로도 목표는 손이 닿지 않는 곳으로 밀려나며, 에이전트가 다음에 무엇을 하는지가 그 작업의 성패를 결정한다. 프롬프트 기반 플래너(prompted planner)는 바로 이 지점에서 실패한다. 거부된 단계를 다른 말로 다시 작성해도 같은 거부에 부딪히며, 진전 없이 시도 예산(attempt budget)만 소진한다. 이들이 실패하는 이유는 계획이 애초에 세계와 연결되어 있지 않았기 때문이며, 그래서 거부가 발생해도 계획 안에는 이를 붙잡아 둘 지점이 없다. 세계란 작업이 실행되는 공간으로, 고유한 규칙, 고유한 허용 가능 행동, 고유한 제약을 가진다. 우리는 7개 도메인에 걸쳐 합성 세계(synthetic world)를 구축하고 여기서 학습 데이터를 추출한다. 프로그램이 각 세계의 규칙을 강제하고 목표를 채점하며, 초기 상태에서 목표에 도달 가능한 경우에만 각 세계를 채택한다. 에이전트는 이 세계 안에서 실행되며, 검증된 실패(verified failure)와 그 실행을 세계가 인증한 상태로 이끈 복구(repair)를 짝지어 남기는데, 이는 약 22만 6천(226K) 개의 궤적(trajectory) 기록에 해당한다. 우리는 이 기록을 바탕으로 World State Generator(WSG)를 학습시킨다. 이는 계획을 세계의 검증 가능한 상태(checkable state)들로 작성하고, 그 계획을 실행되는 세계와 계속 정합(align)시키는 모델(model)이다. 이러한 정합은 언어로 작성된 계획에는 결여된 것인데, 계획이 실행되는 세계에는 언어가 결코 명시하지 않는 물리적 한계, 논리적 의존관계, 필수 순서가 존재하며, 계획은 어떤 상태가 실패할 때에야 비로소 이러한 규칙과 마주치기 때문이다. WSG는 그 실패를 세계가 제시한 규칙으로 받아들이고, 나머지 상태들을 그 규칙에 따르도록 다시 작성함으로써, 실행이 진행됨에 따라 계획이 세계에 맞춰 휘어지도록 한다. 7개의 공개 벤치마크(benchmark)에서 WSG는 300억(30B) 파라미터에 가까운 두 개의 오픈소스 모델의 종단 간(end-to-end) 성공률을 프롬프팅 대비 끌어올리며, 이를 독점(proprietary) 모델 수준까지 끌어올린다.