arXiv:2407.18994v2 cs.AI

요구사항 기반 테스팅: 게임 이론을 통한 강화학습 강화

Requirement-Based Testing: Enhancing Reinforcement Learning with Game Theory

Ocan Sankur, Thierry Jéron, Nicolas Markey, David Mentré, Reiya Noguchi

제출 2024-07-26

한국어 초록

본 논문에서는 반응형 구현을 위해 오토마타(automata)로 명시된 기능적 요구사항으로부터 블랙박스 테스트 케이스를 자동 온라인 합성하는 문제를 다룹니다. 테스터의 목표는 요구사항 위반을 모니터링하면서 커버리지 기준을 충족하도록 특정 주어진 상태에 도달하는 것입니다. 우리는 유망한 입력을 효율적으로 선택하기 위한 강화학습(RL)의 고전적 기법인 몬테카를로 트리 탐색(Monte Carlo Tree Search) 기반의 접근법을 개발합니다. 오토마타 요구사항을 구현체와 테스터 간의 게임으로 간주하여, 이 게임에서 유망한 입력을 향해 탐색을 편향시키는 휴리스틱을 개발합니다. 실험을 통해 우리가 제안한 휴리스틱이 몬테카를로 트리 탐색 알고리즘의 수렴을 가속화하여 테스팅 성능을 향상시킴을 보입니다.

원문 초록

We consider the automatic online synthesis of black-box test cases from functional requirements specified as automata for reactive implementations. The goal of the tester is to reach some given state, so as to satisfy a coverage criterion, while monitoring the violation of the requirements. We develop an approach based on Monte Carlo Tree Search, which is a classical technique in reinforcement learning for efficiently selecting promising inputs. Seeing the automata requirements as a game between the implementation and the tester, we develop a heuristic by biasing the search towards inputs that are promising in this game. We experimentally show that our heuristic accelerates the convergence of the Monte Carlo Tree Search algorithm, thus improving the performance of testing.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2407.18994v2

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.20452v1cs.AI공통 태그 Reinforcement Learning, software testing

AINTMA: 생성형 지능, 보안 클라우드 통신 및 적응형 품질 분석을 갖춘 자율 테스트 관리를 위한 에이전틱 AI 아키텍처

AINTMA: Agentic AI Architecture for Autonomous Test Management with Generative Intelligence, Secure Cloud Communication and Adaptive Quality Analytics

현대 소프트웨어 품질 보증은 분산 클라우드 환경 전반에서 적응적 의사결정이 가능한 지능형 자율 시스템을 요구한다. 본 논문은 전통적인 테스트 관리를 자율적 품질 지능 생태계로 전환하는 다중 에이전트 에이전틱 AI 시스템인 AINTMA(Agentic Intelligent Test Management Architecture)를 제안한다. AINTMA는 클라우드 네이티브 마이크로서비스 인프라 위의 보안 다중 에이전트 통신 프레임워크를 통해 조율되는 여섯 개의 전문 AI 에이전트(테스트 탐색, 위험 평가, 강화학습 우선순위화, 실행 오케스트레이션, 생성형 품질 지능, 클라우드 보안 모니터)를 배치한다. 생성형 품질 지능 에이전트는 대규모 언어 모델(LLM)을 활용해 평이한 언어의 품질 서술, 결함 위험 요약, 데이터 증강 기반 테스트 권고를 생성한다. 강화학습 우선순위화 에이전트는 테스트 선택을 마르코프 결정 과정으로 모델링하고, 대규모 과거 테스트 실행 데이터(47개 특징, 36개월 롤링 윈도우)로부터 문맥적 정책을 학습한다. 보안 클라우드 통신은 OAuth2/JWT 인증, 암호화된 에이전트 간 메시징, 다중 테넌트 격리를 갖춘 제로 트러스트 API 게이트웨이를 통해 강제된다. 18개월에 걸친 12개의 이질적 소프트웨어 프로젝트에 대한 평가 결과는 다음을 보여준다: 88.4% 테스트 우선순위화 정확도(APFD, 무작위 51.2%, 최고 상용 기준선 82.1% 대비); 테스트 사이클 시간 43% 단축; 결함 누출률 8.3%에서 2.1%로 감소; 9개월 투자 회수 기간에 340% ROI. 에이전틱 아키텍처는 50,000개 이상의 테스트 케이스에 확장되며 400ms 미만의 응답 시간을 달성하고, 생성형 지능 모듈은 개발자 유용성 평가 4.3/5.0을 기록했다. AINTMA는 자율적 다중 에이전트 조율, 생성형 지능, 보안 스마트 연결을 결합한 에이전틱 AI가 클라우드 규모의 엔터프라이즈 환경에서 소프트웨어 품질 관리를 근본적으로 발전시킬 수 있음을 보여준다.

arXiv:2607.22864v2cs.CV공통 태그 Reinforcement Learning

Spatial-IQ: 계층적 능력 테스트를 통한 공간 지능 분해

Spatial-IQ: Deconstructing Spatial Intelligence via Hierarchical Capability Tests

다중모달 대규모 언어 모델(MLLM)은 시각 해석에는 뛰어나지만, 인간이 안정적으로 풀 수 있는 공간 추론 과제에서는 실패한다. 기존 벤치마크는 이러한 모델을 블랙박스로 평가하여 낮은 성능의 근본 원인을 식별하는 능력을 제한한다. 모델이 공간 추론 과제에서 실패할 때, 그 장애가 객체 경계 인식과 같은 지각(perceptual) 문제인지, 가려짐에 대해 추론하여 숨겨진 기하를 추론하는 것과 같은 인지(cognitive) 문제인지 판별하기 어렵다. 우리는 Spatial-IQ를 제안한다. 이는 쌓인 3D 구조에서의 객체 개수 세기를 인간 공간 인지의 발달 단계에 따라 구성된 9개의 지각·인지 하위 과제로 분해하는 계층적 진단 프레임워크이며, 정신 회전(mental rotation)을 추가 목표 프로브로 포함한다. NVIDIA Isaac Sim을 사용하여 과제별 ground truth를 갖춘 약 80,000개의 다양한 쌓인 3D 구조 데이터셋을 절차적으로 생성했다. 자유 응답 텍스트, 객관식 이미지, 이미지 편집의 세 가지 출력 형식과 인간 기준선을 함께 사용하여 모델을 평가한다. Spatial-IQ 프레임워크는 최고 성능 모델이 종종 목표 과제(객체 개수 세기)를 뒷받침하도록 의도된 하위 수준 하위 과제에는 성공하지 못한 채 목표 과제에서 성공하는 경우가 많으며, 모델마다 이러한 계층적 연쇄를 얼마나 유지하는지가 다르다는 것을 보여준다. 이는 목표 과제 정확도만으로는 드러나지 않을 지름길(shortcut) 행동을 종종 드러낸다. 마지막으로, 계층적 하위 과제에 대한 사고의 연쇄(Chain-of-Thought, CoT) 감독과 검증 가능 보상을 이용한 강화학습을 결합하여 모델을 학습하면, 하위 과제 간 공간적 일관성과 목표 과제 정확도가 모두 크게 향상됨을 보여준다. 이는 제안한 분해가 진단 도구이자 학습 신호 모두로서 가치 있음을 뒷받침한다.

arXiv:2607.20345v2cs.RO공통 태그 Reinforcement Learning

실험실-매장 격차 해소: 소매 휴머노이드를 위한 데이터 효율적 사후 학습 및 경험 기반 학습 VLA 프레임워크

Closing the Lab-to-Store Gap: A Data-Efficient Post-Training and Experience-Driven Learning VLA Framework for Retail Humanoids

벤치마크 성능과 신뢰할 수 있는 실세계 운용 사이의 격차를 좁히는 것은 실행 오류, 분포 이동(distribution shift), 환경 변동성을 처리해야 하는 비전-언어-행동(VLA) 휴머노이드 로봇의 핵심 과제로 남아 있다. 본 논문은 DEED(Data-Efficient Post-Training and Experience-Driven Learning, 데이터 효율적 사후 학습 및 경험 기반 학습)를 제안하며, 이는 Unitree G1-Edu 휴머노이드 로봇과 GR00T N1.6 파운데이션 모델을 사용한 슈퍼마켓 과자 재입고 작업에서 평가된 시스템 수준 접근법이다. DEED는 세 가지 핵심 구성 요소로 이루어진다: (1) 제어 주파수 정렬, 데이터 큐레이션, 작업 관련 시각적 강조, VLA 의존도 감소를 포함하는 데이터 효율적 사후 학습 파이프라인; (2) 텍스트 기반 advantage 접두 문맥과 비전-언어 가치 함수를 통해 RECAP에서 적용한 경험 기반 정제의 실세계 연구; (3) 분포 내(in-distribution) 및 분포 외(out-of-distribution) 행동을 연구하기 위한 잠재 공간(latent-space) 분석 도구. 우리의 결과는 실험실-매장 격차를 메우는 것이 주로 아키텍처 문제가 아니라 시스템 통합 과제임을 시사한다. 신중한 데이터 설계와 표적화된 사후 학습은 단순 미세조정에서 실패하는 정책을 단일 GPU만으로 유능한 실세계 시스템으로 변환할 수 있다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.