arXiv:2311.00284

Model-driven Engineering for Machine Learning Components: A Systematic Literature Review

Hira Naveed, Chetan Arora, Hourieh Khalajzadeh, John Grundy, Omar Haggag

제출 2023-11-01

원문 초록

Context: Machine Learning (ML) has become widely adopted as a component in many modern software applications. Due to the large volumes of data available, organizations want to increasingly leverage their data to extract meaningful insights and enhance business profitability. ML components enable predictive capabilities, anomaly detection, recommendation, accurate image and text processing, and informed decision-making. However, developing systems with ML components is not trivial; it requires time, effort, knowledge, and expertise in ML, data processing, and software engineering. There have been several studies on the use of model-driven engineering (MDE) techniques to address these challenges when developing traditional software and cyber-physical systems. Recently, there has been a growing interest in applying MDE for systems with ML components. Objective: The goal of this study is to further explore the promising intersection of MDE with ML (MDE4ML) through a systematic literature review (SLR). Through this SLR, we wanted to analyze existing studies, including their motivations, MDE solutions, evaluation techniques, key benefits and limitations. Results: We analyzed selected studies with respect to several areas of interest and identified the following: 1) the key motivations behind using MDE4ML; 2) a variety of MDE solutions applied, such as modeling languages, model transformations, tool support, targeted ML aspects, contributions and more; 3) the evaluation techniques and metrics used; and 4) the limitations and directions for future work. We also discuss the gaps in existing literature and provide recommendations for future research. Conclusion: This SLR highlights current trends, gaps and future research directions in the field of MDE4ML, benefiting both researchers and practitioners

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.01364v1cs.MA공통 태그 Decision Making, Anomaly Detection

스킬 기반 스마트 제조를 위한 LLM 기반 다중 에이전트 제어

LLM-Driven Multi-Agent Control for Skill-Based Smart Manufacturing

공장은 높은 수준의 제품 맞춤화를 갖춘 소량 생산 체제로 전환되고 있으며, 이에 따라 유연하고 재구성 가능한 자동화 시스템의 빈번한 재프로그래밍이 요구됩니다. 대규모 언어 모델(LLM) 기반 에이전트(agent)는 상호보완적인 두 가지 역할로 배치될 수 있습니다. 오프라인에서는 결정론적 생산 시퀀스를 생성하여 프로그래밍 노력을 줄이고, 온라인에서는 실제 기계를 운영하며 정적 프로그램이 예측할 수 없는 런타임 오류를 처리합니다. 본 논문에서는 각 공장 모듈을 전용 LLM 기반 에이전트 및 OPC UA 메서드 호출을 통해 모듈의 스킬을 노출하는 MCP 툴 서버와 결합하고, 에이전트들이 MQTT를 통해 조율하며 공장 상태의 실시간 업데이트를 바탕으로 그라운딩(grounding)되는 솔루션을 제안합니다. 실제 6개 모듈 육각형 공장의 시뮬레이션 환경에서 무음 하드웨어 결함 감지를 포함하여 복잡성이 증가하는 9가지 생산 과제를 대상으로 세 가지 에이전트 아키텍처(오케스트레이터, 피어투피어, 모놀리식)를 비교합니다. 모놀리식 및 피어투피어 아키텍처는 모두 가장 높은 평균 해결률(93%)을 달성한 반면, 오케스트레이터는 차단된 구간 주변으로 플레이트 경로를 자율적으로 재지정함으로써 10회 실행 모두에서 무음 컨베이어 벨트 결함을 유일하게 해결했습니다. 모든 아키텍처는 명시적인 장애 처리 로직 없이도 창발적(emergent) 결함 진단 동작을 보이며, 표준화된 MCP 툴링, MQTT 기반 에이전트 간 통신, 실시간 상태 주입이 LLM으로 프로그래밍되는 스마트 제조를 위한 실용적이고 재현 가능한 기반임을 입증합니다.

arXiv:2609.27287v1cs.LG공통 태그 Decision Making, Anomaly Detection

SR-Fraud: 비정상(non-stationary) 결제 사기 탐지를 위한 결과 지도(outcome-supervised) 반성형 LLM 에이전트 프레임워크

SR-Fraud: An Outcome-Supervised Reflective LLM Agent Framework for Non-Stationary Payment Fraud Detection

실시간 결제 사기 탐지는 비정상(non-stationary) 스트리밍 예측 문제이다. 적대자는 지도 라벨이 성숙하기 전에 적응하고, 국소적 버스트 공격은 재학습 전에 손실을 유발할 수 있다. 프로덕션 시스템은 일반적으로 테이블형 분류기와 규칙에 의존하며, 주기적 재학습이 이루어지기 전에 새로 나타나는 순차 패턴을 포착하는 데 어려움을 겪을 수 있다. 우리는 요청 시점 의사결정과 오프라인 적응을 분리하는 결과 지도(outcome-supervised) 반성형 LLM 프레임워크인 SR-Fraud를 제안한다. 동결(frozen)된 무상태(stateless) 에이전트가 Hybrid Episodic Window로부터 각 거래를 점수화하여 행동 변화를 추적하고, 오프라인 반성 에이전트는 성숙한 오류로부터 경계 가설을 제안한다. 결정론적 검증기는 이어서 지지되는 가설만 실행 가능한 지식 상태에 편입한다. 프로덕션 결제 사기 벤치마크에서 SR-Fraud는 동결된 의사결정 에이전트 대비 모든 탐지 지표를 개선하고, 정적 및 주기적 재학습 CatBoost보다 높은 점 추정치(point estimate)를 얻으며, 새로 나타나는 사기 버스트를 탐지한다.

arXiv:2609.24755v1cs.AI공통 태그 Decision Making, Anomaly Detection

Epi-Logic: 자율 AI 에이전트를 위한 인식론적 런타임 제어, 스키마 유효성 검사 및 통제된 수용의 개념적 프레임워크

Epi-Logic: A Conceptual Framework for Epistemic Runtime Control, Schema Validity Checking, and Controlled Accommodation in Autonomous AI Agents

자율 AI 에이전트는 잘못된 결정을 되돌리기 어려운 영역에 점점 더 배치되고 있다. 본 논문은 스키마 불일치(schema mismatch)를 검토한다. 이는 에이전트가 현재 맥락에 더 이상 적용되지 않는 해석 프레임 안에서 동작하는 상태를 말한다. 이러한 불일치 하에서 생성된 출력은 내적으로 일관되어 보이고, 언어적으로 그럴듯하며, 대체로 사실상 맞는 것처럼 보일 수 있다. 따라서 출력 품질 지표만으로는 근본적인 유효성 상실을 부분적으로만 포착할 수 있다. 본 논문은 인식론적 런타임 제어를 위한 개념적 프레임워크인 Epi-Logic을 제안한다. 이는 스키마 불협화음 탐지, 단계적 자율성 축소, 검증된 스키마로의 감사 가능한 전환을 결합한다. 스키마는 변수 공간, 기대 모델, 유효성 조건, 공리, 메타데이터의 튜플로 형식화된다. Epi-Score는 인식론적 불협화음의 일곱 가지 등급 차원을 집계한다. 시간적 유효성 차원 D8, 유효성 조건 G의 위반, 공리 위반은 집계와 상쇄되지 않는 별도의 범주형 경로로 유지된다. 이 아키텍처는 검사 비대칭에 기반한다. 형식화된 유효성 조건은 런타임에 검사할 수 있는 반면, 많은 행동의 정확성은 사후적으로만 확립된다. 본 논문은 두 가지 아키텍처적 속성, 순차적 변화점 탐지(sequential changepoint detection)로부터의 조건부 결과, 그리고 경험적 잔여(empirical remainder)를 구분한다. 명명된 베이스라인을 갖춘 여덟 개의 반증 가능한 명제가 경험적 검증으로의 전환을 기술한다. 모든 명제는 경험적으로 검증 가능한 가설이며, 확립된 결과가 아니다.

arXiv:2610.01834v3cs.AI공통 태그 Decision Making

시뮬레이션은 코드가 담당하고, 평가는 Jev가 담당한다

Code Owns the Simulation, Jev Owns the Evaluation

Jev와 같은 판단 모델(judgment model)은 단 한 번의 호출로 추론 텍스트 없이 설명된 각 선택지에 대한 확률을 반환합니다. 이러한 특징 덕분에 에이전트의 행동 선택 층(layer)으로서 매력적이지만, 어떤 결정을 신뢰할 수 있는지는 명확하지 않습니다. 본 연구에서는 인지 반사 테스트, 일회성 행렬 게임, 텍스트 게임 ALFWorld 및 로봇 제어에서 Jev를 테스트하고 뚜렷한 경계를 발견했습니다. Jev는 입력에 설명된 내용으로부터 올바른 선택지를 판단할 수 있을 때 성공하며, 이를 본 연구에서는 평가(evaluation)라고 부릅니다. 구체적으로, Jev는 직관에 반하는 인지 반사 테스트(Cognitive Reflection Test) 문제의 99%를 해결합니다. 그러나 올바른 선택지가 상대방의 행동이나 먼저 달성해야 하는 하위 목표와 같이 시뮬레이션(simulation, 즉 입력에 없는 내용을 예측하는 것)에 의존할 때는 실패합니다. 게임에서 Jev는 상대방의 행동이 주어지지 않기 때문에 합리적인 상대가 무작위로 행동하는 것처럼 차선으로 플레이합니다. ALFWorld에서 Jev는 작업 설명에 언급된 사물이나 장소를 지칭하는 명령을 선호합니다. 예를 들어, "서랍에 깨끗한 칼을 넣어라"라는 작업이 주어지면, Jev는 싱크대에서 칼을 먼저 씻는 대신 씻지 않은 칼을 서랍으로 곧장 가져갑니다. 놀랍게도 이러한 실패 중 다수는 지식의 부족 때문이 아닙니다. 상대가 무엇을 할지 별도로 질문을 받으면 Jev는 대개 정확하게 답하며, 상대의 행동이 주어지면 적절하게 대응합니다. Jev가 실패하는 것은 단 한 번의 호출로 시뮬레이션을 수행하고 이에 기반한 평가까지 동시에 처리해야 할 때입니다. 이는 예측이나 시뮬레이션을 코드가 수행하도록 할 것을 시사합니다. ALFWorld의 미리보기(lookahead)나 로봇 제어의 물리 시뮬레이션과 같이 코드가 이를 제공하면, Jev는 일반적인 평가 능력을 통해 전문가 수준의 제어기가 됩니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.