PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.02304v1cs.SE

SimuVerity: 엔지니어링 등급 Simulink 모델 생성을 위한 에이전트 벤치마킹

SimuVerity: Benchmarking Agents for Engineering-Grade Simulink Model Generation

기존 Simulink 벤치마크는 주로 생성된 모델이 컴파일되는지, 실행되는지, 또는 참조 모델과 유사한지를 평가한다. 이러한 기준은 모델이 엔지니어링 요구사항을 충족하는지는 확인하지 못한다. 우리는 10개의 엔지니어링 도메인에 걸친 101개의 텍스트-투-실행가능 Simulink 모델 생성 과제로 구성된 벤치마크인 SimuVerity를 소개한다. 각 과제에 대해 실행 가능한 시스템 프로파일이 엔지니어링 명세와 네 가지 유형의 네이티브 시뮬레이션 시나리오의 근거가 된다. 계층적 평가자는 먼저 아티팩트 전달, 네이티브 실행 가능성, 엔지니어링 자격을 확인한 다음, 자격을 갖춘 모델에 대해 정확도, 출력 품질, 메커니즘적 충실도, 제어 및 인과적 무결성, 동작 영역 견고성, 동적 응답을 포함한 여섯 가지 차원에서 점수를 매긴다. 우리는 SimuVerity를 사용해 여섯 개의 에이전트 시스템을 평가한다. 최고 성능 시스템도 전체 점수가 42.86에 불과하다. 결과는 구조적 유사성이 엔지니어링 성능의 대리 지표로는 부적절함을 보여준다: 역량의 한계는 자격을 갖춘 구현을 만들어내는 과정과 자격 인정 이후 다차원적 요구사항을 충족시키는 과정 모두에서 나타난다. 한편, 일부 높은 점수를 받은 모델은 여전히 심각한 시각적 레이아웃 혼란을 보인다. SimuVerity는 에이전트의 엔지니어링 역량을 평가하고 실행 가능한 Simulink 모델 생성에서의 실패를 진단하기 위한 체계적인 기반을 제공한다.