시나리오 기반 신경진화: 모델을 활용한 게임 테스트 생성 안내
Scenario-Driven Neuroevolution: Using Models to Guide Test Generation for Games
한국어 초록
게임용 테스트 입력을 자동으로 생성하는 일은 쉽지 않다. 테스트 생성기는 고급 프로그램 상태에 도달하기 위해 게임을 숙달해야 할 뿐만 아니라, 게임에 내재된 강한 프로그램 무작위성에 대해서도 견고함을 보장해야 하기 때문이다. 이에 테스트 생성기 Neatest는 고급 프로그램 상태에 도달하면서 프로그램 무작위성에 견고한 신경망(neural network)으로 구성된 테스트 스위트를 최적화하며, 이 신경망들은 현재 프로그램 상태에 따라 테스트 입력을 동적으로 생성한다. Neatest는 신경진화(neuroevolution)를 사용하여 아직 커버되지 않은 코드의 각 구문(statement) 또는 분기(branch)마다 네트워크 에이전트를 생성하는 것을 목표로 하는 화이트박스 테스트 접근법이다. 이러한 반복적인 테스트 생성 방식 때문에, 이 알고리즘은 수천 개의 분기를 포함할 수 있는 더 큰 프로그램으로는 잘 확장되지 않는다. 더욱이 게임의 모든 구문이나 분기를 커버하는 것이 의도된 방식대로 게임을 플레이하는 것과 일치하지 않는 경우가 많다. 이러한 단점을 완화하기 위해, 본 논문은 Neatest를 모델 기반 테스트(model-based testing) 접근법과 결합하여 게임 테스터가 추상 게임 모델을 통해 테스트 시나리오를 정의할 수 있도록 하는 방안을 제안한다. 그러면 테스트 생성기는 더 이상 프로그램의 모든 분기나 구문에 도달하도록 네트워크를 최적화하지 않고, 대신 추상 게임 모델이 표현하는 구체적인 목표 테스트 행동을 재현하도록 네트워크를 학습시킨다. 다양한 장르의 Scratch 게임 13개에 대한 평가 결과, 모델 기반 테스트와 결합한 Neatest는 게임 모델에 정의된 목표 게임플레이 행동을 재현하는 에이전트를 최적화할 수 있으며, 동시에 기존의 코드 기반 Neatest 접근법 대비 달성한 분기 커버리지를 7% 높이는 것으로 나타났다.
원문 초록
Automatically generating test inputs for games is challenging, as test generators must master the game to reach advanced program states while also ensuring robustness against the heavy program randomisation inherent to games. The test generator Neatest therefore optimises test suites consisting of neural networks that reach advanced program states and are robust to program randomisation, as they generate test inputs dynamically based on the current program state. Neatest is a white-box testing approach that aims to generate a network agent for each yet-uncovered statement or branch of the code using neuroevolution. Due to this iterative test generation approach, the algorithm does not scale well to larger programs that may contain thousands of branches. Furthermore, covering every statement or branch in a game often does not correspond to playing the game as intended. To alleviate these shortcomings, we propose combining Neatest with a model-based testing approach that allows game testers to define test scenarios via abstract game models. The test generator then no longer optimises networks to reach all branches or statements of a program, but instead trains networks to replicate the concrete desired testing behaviour expressed by the abstract game model. An evaluation on 13 Scratch games across varying genres demonstrates that Neatest, combined with model-based testing, is able to optimise agents that replicate the desired gameplay behaviour defined in the game models while increasing achieved branch coverage by 7% compared to the traditional code-guided Neatest approach.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2609.28130v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
작지만 강력하게: 자기 진화 에이전트를 위한 개선 신호로서의 테스트 스위트
Small but Mighty: Test Suites as Improvement Signals for Self-Evolving Agents
자기 진화 에이전트(self-evolving agent)는 자신의 하네스(harness)를 재작성하며 어떤 재작성본을 유지할지 결정해야 하므로, 에이전트의 개선 신호는 재작성본이 통과해야 하는 검증이 됩니다. 에이전트 롤아웃(rollout)으로 재작성을 검증하는 것은 비용이 많이 들고 주관적인 반면, 저장소 자체의 테스트와 같은 실행 가능한 검증은 동작을 변화시키는 재작성을 포착하기에는 너무 희소하여 그중 4분의 1만을 거부합니다. 우리는 그 대신 테스트 피드백을 실행 가능한 신호로 삼고, 신호가 조밀하고 유익할 수 있도록 품질-다양성(quality-diversity) 진화 알고리즘을 통해 작으면서도 강력한 테스트 스위트(test suite)를 탐색합니다. TeSearch는 스위트 크기를 행동 기술자(behavior descriptor)로 취급하여 모든 크기에서 품질을 추구하고 작고 강력한 스위트에 도달할 수 있도록 하며, 해당 기술자에 대한 액추에이터로서 대규모 언어 모델(LLM)의 노이즈를 제거하는 전이 커널(transition kernel)을 탐색 과정에서 학습합니다. 129개의 실제 모듈과 세 가지 백본에 걸쳐, TeSearch는 LLM 기반 진화 탐색을 포함해 비교된 모든 방법 중 가장 높은 품질의 스위트를 제공하며, LLM 기반 방법 중 가장 작은 크기를 달성합니다. 자기 진화 에이전트의 개선 신호로 사용되었을 때, 이는 4.0%의 오경보율(false-alarm rate)과 결정당 3.5초의 속도로 동작을 변화시키는 재작성의 59.9%를 거부하여 저장소 자체 테스트의 25.3%와 대비를 이룹니다. 코드와 데이터는 https://github.com/ccsnow127/TeSearch 에서 확인할 수 있습니다.
평가 예산이 제한된 최적화를 위한 REMBGO: CEC2022 벤치마킹 및 EAF-STATCOM 일반화
REMBGO for Evaluation-Limited Optimization: CEC2022 Benchmarking and EAF-STATCOM Generalization
메타휴리스틱(metaheuristic) 비교는 비용이 큰 공학 시뮬레이션이 감당할 수 있는 수준보다 훨씬 더 큰 평가 예산에서 보고되는 경우가 많습니다. 본 논문에서는 EMBGO를 평가 예산 인식형으로 개선한 REMBGO를 제시합니다. 본 연구의 기여는 특정 단일 연산자가 아니라, 부모 대비 이점이 제한된 함수 평가 예산 하에 집중되는 개체군 보존, 척도 정규화 탐험(exploration) 및 복구 메커니즘들의 통합에 있습니다. REMBGO는 CEC2022에서 실제 응용에 맞춘 주요 예산인 1040회 함수 평가를 바탕으로 평가되었으며, 통제된 가설군이라기보다는 예산 의존성을 특성화하기 위해 주변 예산 래더(budget ladder)를 기술적으로 보고했습니다. 구성 요소 제거(component-removal) 연구 결과 다중성 보정(multiplicity correction)을 통과하는 개별 메커니즘은 발견되지 않았으며, 이는 단일 연산자가 아닌 통합적 기여라는 점과 일치합니다. 이후 이 알고리즘은 EAF-STATCOM 제어기 튜닝에 적용되었고, 도출된 고정 게인 벡터는 재튜닝 없이 사전에 지정된 20개의 미확인 확률적 아크 실현($210$회 고정 게인 시뮬레이션, 모두 실행 가능)으로 전이되었습니다. 선택된 게인 벡터 주효과는 교차 검증(validation) 변량의 $3.6$--$5.8\%$만을 설명하는 반면, 상호작용 및 잔차는 약 $61.4\%$를 차지했으며, 매칭된 REMBGO-EMBGO 쌍체 차이는 부호 면에서 제어기에 따라 달라졌고 통계적으로 유의미하지 않았습니다. 따라서 REMBGO는 보편적으로 우수한 옵티마이저(optimizer)라기보다는 평가 예산과 함께 이점이 명시되어야 하는 자원 인식형 개선 기법으로 제시됩니다.
QTestBench: LLM 생성 양자 코드 평가를 위한 테스트 프레임워크
QTestBench: A Test Framework for Evaluating LLM-Generated Quantum Code
대규모 언어 모델(LLM)은 고전적인 코드 생성에서 우수한 결과를 보여주었으며, 해당 코드를 보호하는 단위 테스트를 작성하는 데에도 점점 더 많이 활용되고 있습니다. 그러나 양자 소프트웨어에 대해서도 동일한 역할을 수행할 수 있는지는 명확하지 않습니다. 양자 프로그램은 확률론적이고, 수치적 허용 오차에 의존하며, 도메인 특화 검사기(checker)를 통해 판단되기 때문에 잘 구성된 테스트라 할지라도 벤치마크의 판정과 불일치할 수 있기 때문입니다. 기존의 양자 벤치마크는 모델이 올바른 솔루션을 생성하는지 여부만 측정할 뿐, 모델이 생성한 테스트가 올바른 구현과 결함이 있는 구현을 구별할 수 있는지는 측정하지 못합니다. 본 논문에서는 LLM이 생성한 양자 테스트 스위트를 독립적인 벤치마크 검사기와 비교 평가하며, 테스트 자체를 결코 정답(ground truth)으로 간주하지 않는 프레임워크인 QTestBench를 소개합니다. 각 태스크에 대해 QTestBench는 모델이 구문적, 의미적, 동작적 테스트를 생성하도록 프롬프트를 제공하고, 런타임에 후보 솔루션을 주입하며, 각각 별개의 진단 질문에 답하는 세 가지 검증(validation) 코호트 하에서 각 테스트 판정과 검사기의 레이블을 비교합니다. 저자들은 8개의 PennyLane QHack 챌린지와 10개의 Qiskit HumanEval 태스크에서 5개의 LLM을 벤치마크합니다. 생성된 스위트는 거의 항상 실행되지만 변별력은 이에 미치지 못합니다. 가장 우수한 생성 모델도 QHack에서 0.71, Qiskit HumanEval에서 0.34의 테스트 품질에 도달하므로, 실행 가능성만으로는 테스트 품질이 과대평가됩니다. 오라클로 검증된 합성 뮤턴트는 결함이 전혀 발생하지 않은 10개 중 3개의 Qiskit 태스크처럼 자연적인 결함 솔루션이 희소할 때 버그 감지 추정치를 안정화합니다. QTestBench는 LLM이 생성한 양자 테스트의 신뢰성을 평가하기 위한 재현 가능하고 프레임워크 간 비교가 가능한 벤치마크를 제공합니다.
Build2SPARQL: 빌딩 지식 그래프 쿼리를 위한 대규모 Text-to-SPARQL 벤치마크 데이터셋
Build2SPARQL: A Large-Scale Text-to-SPARQL Benchmark Dataset for Building Knowledge Graph Querying
빌딩 자동화 시스템은 Brick 및 ASHRAE 223P와 같은 온톨로지를 사용하는 시맨틱 지식 그래프(KG)로 점점 더 많이 표현되고 있으며, 이는 인공지능 응용을 위한 기계 판독 가능한 기반을 형성합니다. 유망한 응용 분야 중 하나는 자연어 질문을 SPARQL로 변환하는 Text-to-SPARQL로, 빌딩 관리자가 언어 에이전트를 통해 이러한 그래프를 쿼리할 수 있게 해주지만 대규모 자연어/SPARQL 벤치마크의 부족으로 발전이 제한되고 있습니다. 본 논문에서는 지식 그래프 기반(KG-grounded) 파이프라인으로 생성된 빌딩 지식 그래프용 대규모 벤치마크인 Build2SPARQL을 제시합니다. 이 파이프라인은 SPARQL 쿼리를 전적으로 그래프 순회 코드로 생성 및 검증하는 반면, 대규모 언어 모델(LLM)은 자연어 질문만을 생성하도록 하여 쿼리의 정확성을 모델의 동작과 독립적으로 유지합니다. 해당 파이프라인은 선형 체인, 분기, UNION, 집계, OPTIONAL, 속성 필터링의 6가지 쿼리 패턴 패밀리를 추출하며, 각 쿼리를 5가지 어휘 레지스터에 걸쳐 표현합니다. 201개의 빌딩 지식 그래프(Brick 180개, ASHRAE 223P 21개)에 적용하여 6,136개의 실행 가능한 SPARQL 쿼리와 30,680개의 질문을 도출했습니다. 300개 질문에 대한 2인 평가자 인적 검증 결과 98.8%의 시맨틱 충실도, 98.8%의 자연스러움, 84.0%의 운영 타당성을 확인했습니다. 3개의 공개 가중치(open-weight) 언어 모델에 걸친 검색-증강 평가에서는 완전 일치(exact-match) 정확도가 0.2~20%(제로샷)에서 56~65%(3샷 검색)로 향상되었습니다.
아무것도 예측하지 않는 것이 SAM 3를 능가할 때: 비디오 객체 분할 평가의 재검토
When Predicting Nothing Beats SAM 3: Revisiting Evaluation in Video Object Segmentation
복잡하고 긴 비디오에서의 비디오 객체 분할(Video Object Segmentation, VOS)은 대상 객체가 긴 시간 지평 내에서 간헐적으로만 나타나는 경우가 많은 실제 응용 분야에서 점차 중요해지고 있습니다. 그러나 기존 벤치마크는 대부분 비디오의 대부분 동안 가시적으로 유지되는 시간적으로 두드러진 객체에 주로 초점을 맞추고 있습니다. 이러한 공백을 해결하기 위해 본 논문에서는 낮은 시간적 가시성 조건에서 VOS 방법을 평가하도록 설계된 벤치마크인 FaVOS(A Benchmark for Video Object Segmentation with Fractional Temporal Visibility)를 소개합니다. 우리는 이러한 조건에서 표준 J&F 지표가 대상이 존재하지 않는 프레임에 대한 빈 예측에 높은 보상을 부여하기 때문에 VOS 평가를 부재 분류(absence classification)로 전락시킬 수 있음을 보입니다. 그 결과, 자명한 빈 마스크 예측기조차 SAM 3와 같은 강력한 모델을 능가할 수 있으며, 이는 현재 지표와 실질적인 VOS 성능 간의 근본적인 불일치를 드러냅니다. 이 문제를 완화하기 위해 마스크 시퀀스를 시공간 볼륨으로 평가하고 분할 품질 및 시간적 구조에 대한 민감도를 유지하면서 대상 부재 보상의 지배력을 줄이는 Volumetric J&F를 제안합니다. 프로젝트 페이지: https://aidaslab.github.io/FaVOS.
ELMA: 장기 텍스트 기반 모션 생성을 위한 조응적 구성 벤치마킹
ELMA: Benchmarking Anaphoric Compositions for Long-Term Text-to-Motion Generation
토론
이 논문과 연결된 포럼 글이 아직 없습니다.