Closed-Loop Graph Algorithm Execution with Small Language Models: Step Accuracy and Rollout Reliability
소규모 언어 모델(SLM)을 BFS, DFS, 그래프 색칠, Dijkstra 등 고전 그래프 알고리즘의 클로즈드-루프(closed-loop) 실행 정책으로 평가한 연구로, Llama-3.2-1B와 Qwen2.5-1.5B에 LoRA 어댑테이션을 적용하여 순회(traversal)·색칠 알고리즘에서는 높은 롤아웃 정확도를 달성했으나, 가중치 기반 알고리즘(Prim, Borůvka, Dijkstra)에서는 스텝 정확도가 높더라도 오차 누적으로 인해 전체 실행 신뢰도가 크게 저하됨을 실증적으로 보여준다. 이 결과는 개별 스텝 예측 성능이 자율적 알고리즘 실행 신뢰성을 보장하지 않으므로, 알고리즘 언어 모델의 평가는 단일 스텝이 아닌 완전한 클로즈드-루프 롤아웃을 기준으로 수행해야 함을 시사한다.