세계는 롤백하고, 반성은 유지하라: 장기 지평 LLM 에이전트를 위한 롤백 유도 반성(Rollback-Induced Reflection)
Rollback the World, Keep the Reflection: Rollback-Induced Reflection for Long-Horizon LLM Agents
대규모 언어 모델(LLM) 에이전트는 다단계 환경 상호작용을 통해 장기 지평 과제를 점점 더 많이 수행하지만, 단 한 번의 잘못된 행동만으로도 이후 상태와 관측이 바뀌어 오류가 시간에 따라 누적될 수 있다. 기존 방법은 변경된 환경 상태를 복구하지 않은 채 문맥만 고치거나, 이전 상태로 되돌리면서 유용한 경험을 버려, 실패 조건을 제거하는 것과 과거 실수를 반복하지 않는 것을 동시에 달성하기 어렵다. 우리는 신뢰할 수 있는 복구를 대신 롤백 경계 제어 문제로 보아, 언제 개입할지, 어디서 재개할지, 복구 후 어떤 정보가 남아야 하는지를 함께 결정해야 한다고 주장한다. 이 관점에 기반해, 선택한 이전 상태로 실행을 복원하면서 포기한 궤적에서 정제한 재사용 가능한 지식을 이어가 후속 결정을 이끄는 통합 복구 프레임워크인 Rollback-Induced Reflection(RIR)을 제안한다. 또한 롤백 깊이와 보존 기억에 대한 통합 연산자로 복구를 특성화하여, 상태 복원과 지식 보존에 대한 일반적 관점을 제공한다. 세 가지 장기 지평 벤치마크 실험에서 RIR은 여러 LLM 백본에서 평균 과제 성능을 일관되게 향상시키며, 구조화된 반성 기억이 유용한 경험을 보존하고 선택적 롤백이 효율적인 복구를 가능하게 함을 보여준다.