arXiv:2610.07356v1 cs.SE

일관된 다중 다이어그램 SysML 모델을 위한 검증된 데이터셋 및 벤치마크

A Validated Dataset and Benchmark for Coherent Multi-Diagram SysML Models

Ardalan Aryashad, Yan Jin

제출 2026-10-05

한국어 초록

시스템 엔지니어는 시스템의 구조와 동작을 기술하기 위해 여러 다이어그램을 사용합니다. 엔지니어들은 이 다이어그램들이 동일한 요소를 사용하고 상호 일관성을 유지하도록 함께 작성합니다. 대규모 언어 모델(LLM)은 다이어그램을 텍스트나 코드로 생성할 수 있어 시스템 다이어그램의 자동 생성을 가능하게 합니다. 그러나 일관된 다이어그램 세트를 생성하는 LLM의 능력은 아직 잘 알려져 있지 않으며, 기존 데이터셋과 벤치마크는 이러한 능력을 대규모로 직접 측정하지 못합니다. 본 논문에서는 3,000개의 엔지니어링 컨텍스트와 15,000개의 다이어그램으로 구성된 데이터셋인 SEMAADB(Systems Engineering Modeling Assistant with AI Dataset and Benchmark)를 소개합니다. 각 컨텍스트는 요구사항(Requirement), 블록 정의(Block Definition), 액티비티(Activity), 상태 머신(State Machine), 시퀀스(Sequence)라는 5개의 연결된 SysML 뷰를 포함합니다. 여기서 뷰는 시스템의 한 측면을 나타내는 다이어그램입니다. 연구진은 다이어그램 세트의 일관성과 유효한 렌더링 여부를 검증했습니다. 또한 100개의 컨텍스트 세트는 사람이 직접 검증하여 벤치마크 테스트 세트를 구성했습니다. 연구진은 두 가지 태스크에서 세 가지 언어 모델을 평가했습니다. 다이어그램 수정(diagram repair) 태스크에서 가장 우수한 모델은 의미적 오류의 64.3%를 수정했습니다. 다이어그램 간 업데이트(cross-diagram update)에서는 모델이 관련된 여러 다이어그램에 걸쳐 단일 변경 사항을 전파할 때 최고 전파 F1 점수 80.7%를 기록했습니다. 실험 결과 구문 수정은 거의 해결되었으나, 의미적 수정과 다이어그램 간 일관성 유지는 여전히 모델에게 어려운 과제임을 보여줍니다. 따라서 SEMAADB는 대규모 다이어그램 리소스와 일관된 다중 다이어그램 SysML 생성을 측정하기 위한 벤치마크 세트를 모두 제공합니다.

원문 초록

Systems engineers use several diagrams to describe the structure and behavior of systems. Engineers create these diagrams together to make sure that they use the same elements and remain consistent with one another. Large language models can generate diagrams as text or code, which makes it possible to create system diagrams automatically. However, their ability to generate coherent sets of diagrams is not well understood, and existing datasets and benchmarks do not directly measure this ability at scale. We introduce SEMAADB (Systems Engineering Modeling Assistant with AI Dataset and Benchmark), a dataset of 3,000 engineering contexts and 15,000 diagrams. Each context contains five connected SysML views: Requirement, Block Definition, Activity, State Machine, and Sequence. Here, a view is a diagram that presents one aspect of a system. We checked the diagram sets for consistency and valid rendering. A set of 100 contexts is also human-verified and forms the benchmark test set. We evaluate three language models on two tasks. In diagram repair, the strongest model repairs 64.3% of semantic errors . In cross-diagram update the best propagation F1 is 80.7% when a model applies one change across related diagrams. The results show that syntax repair is nearly solved, but semantic repair and consistency across diagrams are still challenging tasks for models. SEMAADB therefore provides both a large diagram resource and a set of benchmarks for measuring coherent multi-diagram SysML generation.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.07356v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.