시나리오 기반 신경진화: 모델을 활용한 게임 테스트 생성 안내
Scenario-Driven Neuroevolution: Using Models to Guide Test Generation for Games
게임용 테스트 입력을 자동으로 생성하는 일은 쉽지 않다. 테스트 생성기는 고급 프로그램 상태에 도달하기 위해 게임을 숙달해야 할 뿐만 아니라, 게임에 내재된 강한 프로그램 무작위성에 대해서도 견고함을 보장해야 하기 때문이다. 이에 테스트 생성기 Neatest는 고급 프로그램 상태에 도달하면서 프로그램 무작위성에 견고한 신경망(neural network)으로 구성된 테스트 스위트를 최적화하며, 이 신경망들은 현재 프로그램 상태에 따라 테스트 입력을 동적으로 생성한다. Neatest는 신경진화(neuroevolution)를 사용하여 아직 커버되지 않은 코드의 각 구문(statement) 또는 분기(branch)마다 네트워크 에이전트를 생성하는 것을 목표로 하는 화이트박스 테스트 접근법이다. 이러한 반복적인 테스트 생성 방식 때문에, 이 알고리즘은 수천 개의 분기를 포함할 수 있는 더 큰 프로그램으로는 잘 확장되지 않는다. 더욱이 게임의 모든 구문이나 분기를 커버하는 것이 의도된 방식대로 게임을 플레이하는 것과 일치하지 않는 경우가 많다. 이러한 단점을 완화하기 위해, 본 논문은 Neatest를 모델 기반 테스트(model-based testing) 접근법과 결합하여 게임 테스터가 추상 게임 모델을 통해 테스트 시나리오를 정의할 수 있도록 하는 방안을 제안한다. 그러면 테스트 생성기는 더 이상 프로그램의 모든 분기나 구문에 도달하도록 네트워크를 최적화하지 않고, 대신 추상 게임 모델이 표현하는 구체적인 목표 테스트 행동을 재현하도록 네트워크를 학습시킨다. 다양한 장르의 Scratch 게임 13개에 대한 평가 결과, 모델 기반 테스트와 결합한 Neatest는 게임 모델에 정의된 목표 게임플레이 행동을 재현하는 에이전트를 최적화할 수 있으며, 동시에 기존의 코드 기반 Neatest 접근법 대비 달성한 분기 커버리지를 7% 높이는 것으로 나타났다.