arXiv:2607.02731v1 cs.SE

SMOCS: 프로덕션 환경에서 ML 시스템의 간소화된 배포, 모니터링, 최적화를 위한 스트리밍 프레임워크

SMOCS: A Streaming Framework for Simplified Deployment, Monitoring, and Optimization of ML Systems in Production

Armen Kasparian, Kishansingh Rajput, Malachi Schram, John Vennekate

제출 2026-07-02

한국어 초록

머신러닝은 과학 시설의 실시간 모니터링, 최적화, 제어에 있어 상당한 잠재력을 입증해 왔다. 그러나 운영 환경에서 ML 모델을 배포하고 유지관리하는 것은 여전히 상당한 엔지니어링 과제로 남아 있다. 각 시설마다 고유한 데이터 프로토콜, 비표준 포맷, 인프라 제약이 존재하여, 팀들이 새로운 애플리케이션마다 통합 파이프라인을 처음부터 재구축해야 하는 상황이 발생한다. 본 논문에서는 이러한 과제를 세 가지 기여를 통해 해결하는 Kafka 기반 컨테이너화 프레임워크인 SMOCS(Streaming Monitoring Optimization and Control System)를 제안한다: 1) 인프라와 애플리케이션 로직을 분리하는 Apache Kafka 상의 계층적 추상화, 2) 데이터 수집, 모델 학습, 실시간 추론을 시간적으로 분리하여 라이브 데이터 스트림으로부터의 지속적인 온라인 학습을 가능하게 하는 3-스레드 에이전트 아키텍처, 3) 소프트웨어 엔지니어링 전문 지식 없이도 도메인 전문가가 ML 파이프라인을 운영할 수 있게 하는 구성 기반 배포 모델. SMOCS는 시설 플랫폼에 독립적이며, 설계상 결함 격리가 적용되고, Docker 컨테이너화를 통해 수평적 확장이 가능하다. 본 프레임워크는 Jefferson Lab Github에 오픈소스 소프트웨어로 공개되어 있다.

원문 초록

Machine learning has demonstrated significant potential for real-time monitoring, optimization, and control of scientific facilities. However, deploying and maintaining ML models in operational environments remains a substantial engineering challenge. Each facility presents unique data protocols, non-standard formats, and infrastructure constraints, forcing teams to rebuild integration pipelines for every new application. We present SMOCS (Streaming Monitoring Optimization and Control System), a Kafka-based containerized framework that addresses this challenge through three contributions: 1) a layered abstraction over Apache Kafka that separates infrastructure from application logic, 2) a three-thread agent architecture that temporally decouples data ingestion, model training, and real-time inference enabling continuous online learning from live data streams, and 3) a configuration-driven deployment model that enables domain experts to operate ML pipelines without software engineering expertise. SMOCS is facility platform-agnostic, fault-isolated by design, and horizontally scalable through Docker containerization. The framework is publicly available as open-source software on the Jefferson Lab Github.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2607.02731v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.02661v1cs.LG공통 태그 Continual Learning, online learning

AIGS: 비정상 데이터 스트림에서의 온라인 표현 학습을 위한 적응형 점진적 게이팅 시스템

AIGS: Adaptive Incremental Gating System for Online Representation Learning in Non-Stationary Data Streams

사물 웹(WoT) 및 엣지 컴퓨팅 환경의 실시간 데이터 스트림은 잠재적인 체제 변화(regime changes)를 거치며 진화하는 경우가 많습니다. 엄격한 계산 제약 하의 온라인 표현 학습(online representation learning)에서 핵심 문제는 유용한 과거 지식을 유지하면서 개념 드리프트(concept drift)에 신속하게 반응하는 안정성-가소성 딜레마(stability-plasticity dilemma)를 해결하는 것입니다. 기존 방법들은 고정된 업데이트 일정이나 롤링 윈도우를 사용합니다. 그러나 이러한 방식은 급격한 변화가 발생할 때 매개변수 경직화(parameter ossification)를 겪고, 스트림이 안정적으로 유지될 때는 계산 자원을 낭비합니다. 본 논문에서는 경량 폐루프 상태 인지 적응 프레임워크인 적응형 점진적 게이팅 시스템(AIGS, Adaptive Incremental Gating System)을 제안합니다. AIGS는 최근 변동성에 대해 현재 재구성 오차를 정규화하는 내생적 잔차 피드백 메커니즘인 Shock Ratio를 도입합니다. 이 신호는 학습 가소성과 기억 유지 사이를 부드럽게 보간하는 연속 가소성 컨트롤러(Continuous Plasticity Controller)를 구동합니다. 표현 학습을 폐루프 제어 메커니즘으로 다룸으로써, AIGS는 치명적 망각(catastrophic forgetting)을 방지하고 지연 시간에 민감한 엣지 디바이스에 적합한 스텝당 엄격한 선형 복잡도 $\mathcal{O}\left(k\cdot d\right)$를 유지합니다. 교통 네트워크, 기상 시스템, 산업 인프라를 아우르는 실제 스마트 시티 동적 스트림에 대한 실험은 도메인에 따라 뚜렷한 이점을 보여줍니다. Electricity Transformer Temperature 데이터셋에서 AIGS는 점진적인 성능 저하 상황에서 8.31(ETTm1) 및 9.88(ETTm2) 스텝의 예방적 조기 경보 리드 타임을 달성합니다. Performance Measurement System 교통 데이터셋에서는 급격한 변화 이후 훨씬 빠른 변화 후 회복 속도를 보입니다. 노이즈가 매우 심한 Weather 데이터셋에서는 확률적 노이즈 과적합을 방지하면서 이상치 재현율을 향상시킵니다. 이러한 결과는 AIGS가 자원 제약이 있는 엣지 모니터링 시스템을 위한 실용적인 플러그 앤 플레이 어댑터임을 입증합니다.

arXiv:2606.21253v2cs.LG공통 태그 Continual Learning, online learning

그래디언트-프리 웜-스타트 라이브러리 복원: 상각 후회 분리

Gradient-Free Warm-Start Library Recovery: an Amortized-Regret Separation

그래디언트-프리, 로컬, 온라인, 그리고 append-only 방식의 지속 학습(continual learning)은 엣지 및 스트리밍 배포에 매력적이지만, 그 가치는 보통 비공식적으로만 주장된다. 우리는 반복 레짐(regime) 스트림에 대해 증명 가능한 설명을 제시한다. 분할(segmentation)이 주어지면, 웜-스타트(warm-start) 라이브러리 학습기는 무기억(memoryless) 재추정기의 $Θ(RD/\varepsilon^2)$에 대비하여 상각(amortized) 복원(recovery) 비용 $O\!\big(KD/\varepsilon^2+(R-K)\logK/Δ^2\big)$를 달성하며, 차원 $D$와 재발(recurrence) 밀도에 따라 증가하는 $(R-K)\,Θ(D/\varepsilon^2)$의 이점을 갖는다. 메커니즘은 분리(decoupling)이다: 관측된 $K$개 레짐 중 어느 것이 활성인지 인식(recognition)하는 비용은 $D$와 무관하게 $O(\log K/Δ^2)$이며, 한 레짐을 추정하는 비용은 $Θ(D/\varepsilon^2)$이다. 우리는 이것이 tight함을 증명한다: 일치하는 하한(matching lower bounds)은 인식 $Θ(\log K/Δ^2)$와 무기억 클래스 bound $Ω(RD/\varepsilon^2)$를 주므로, 각 항은 개별적으로 minimax-tight하다(결합 진술은 조건부이다). 분리(separation)는 born-immune(무기억 학습기의 이점은 항등적으로 0)이고 패러다임 수준이다: 공정한 spawn 가능 베이지안 기준선(baseline)과 일치하며 그를 능가하지 않는다; 기여는 end-to-end 역전파(backprop) 없이 그리고 구조적으로 제로 망각(zero forgetting)으로 이 비용 구조를 달성하는 것이다. count-calibrated 변형은 바운드된, 결코 음수가 아닌 per-recurrence overshoot까지 기준선(baseline)의 선행 상수(leading constant)와 일치시키며, 하이퍼파라미터(hyperparameter)-free이고 per-step 초월함수(transcendentals)가 없다. 우리는 범위를 제한한다: 인식 가능한 레짐은 심플렉스(simplex) packing에 의해 상한이 정해진다(벽(walls) $e^{Θ(D)}$); 자율 분할(autonomous segmentation)은 packing 벽에서 불가능하다(레짐이 겹칠 때 detector가 오경보/지연(false-alarm/delay) 프론티어(frontier)를 벗어날 수 없음); 이점은 겹침(overlap) 하에서 사라진다. 차원 의존 분리는 합성 스트림과 실제 $k$-mer 게놈 분포에서 확인된다(무기억 비용 $\propto D^{1.04}$, 인식은 $D$-independent); 하나의 실제 순차 스트림은 $D{=}1$ near-null 코너에 위치한다.

arXiv:2607.05609v1stat.ML공통 태그 Continual Learning, online learning

보유할 것인가, 적응할 것인가? 지속 학습의 일반화

To Retain or to Adapt? Generalizing Continual Learning

지속 학습(CL) 문헌은 오랫동안 파국적 망각(catastrophic forgetting)을 완화하는 목표에 의해 주도되어 왔다. 이 목표는 평생 학습자가 결합 작업 학습(Joint-Task Learning, JTL) 해법을 근사하여 이전에 습득한 모든 지식을 보유해야 한다는, 만연하지만 종종 명시되지 않는 가정에 기반한다. 우리는 이 보유 중심 전제에 이의를 제기하며, 비정상(non-stationary) 환경에서 보유를 우선시하면 실시간 적응을 저해할 수 있다고 주장한다. 평균 평생 오차(Average Lifelong Error, ALE)에 초점을 맞춰, 우리는 CL을 환경 역학과 학습 역학 간의 상호작용에 의해 지배되는 온라인 최적화 문제로 형식화한다. 우리는 전이 효율성(Transfer Efficiency)을 불안정성(Instability), 즉 상충하는 과거 경험으로부터 상속된 바이어스와 과도 오차(Transient Error), 즉 새로운 작업을 처음부터 학습하는 최적화 비용 사이의 긴장을 정량적으로 측정하는 척도로 도입한다. 선형 모델과 신경망 모델 전반에 걸쳐 성립하는 온화한 수렴 조건 하에서, 이 분해는 임계 작업 지속 시간(Critical Task Duration)을 도출한다: 보유가 양의 정상 바이어스를 유발할 때마다 역사적 지식이 웜스타트(warm-start) 이점에서 최적화 부담으로 전환되는 경계를 명시적 형태로 제공하는 임계값이다. 우리는 지속적 이미지 분류와 강화학습 벤치마크에서 이러한 이론적 예측을 검증한다. 마지막으로, 지속 학습을 예측 가능한 시퀀스의 온라인 학습 프레임워크와 연결함으로써, JTL이 더 넓은 목표 패밀리의 한 사례에 불과함을 보이고, 예측적 지속 학습(Predictive Continual Learning)이라 부르는 새로운 일반적 지속 학습 알고리즘 클래스를 제안한다. 예측적 CL 알고리즘은 미래 작업에 대한 명시적이고 동적으로 갱신되는 모델 하에서 기대 미래 성능을 최적화한다. 개념 증명으로서, JTL과 독립 작업 학습(Independent-Task Learning, ITL) 사이를 보간하며 제어된 분포적 드리프트(distributional drift) 하에서 양자를 모두 능가하는 윈도우(Window) 알고리즘을 분석한다.

arXiv:2607.03925v1cs.LG공통 태그 Continual Learning, online learning

NeuroOnline: EEG 파운데이션 모델을 위한 사전학습과 온라인 적응의 연결

NeuroOnline: Bridging Pretraining and Online Adaptation for EEG Foundation Models

EEG 파운데이션 모델은 피험자와 태스크 전반에 걸쳐 일반화된 표현을 학습하는 데 강한 잠재력을 보여주었다. 그러나 기존의 대부분 접근법은 사전학습-정적 배포 패러다임을 따르며, 두 가지 핵심 한계를 지닌다: (1) 사전학습 목표와 다운스트림 태스크 간의 불일치, (2) 온라인 환경에서의 분포 변화에 대한 제한적인 적응성. 우리는 온라인 시나리오에서 지속적인 적응을 가능하게 하는 통합 프레임워크인 온라인 신경 적응(Online Neural Adaptation, NeuroOnline)을 제안한다. NeuroOnline은 두 가지 상호 보완적인 메커니즘을 통합한다: (1) 일관되고 태스크 관련성 있는 표현을 촉진하기 위해 교차 뷰 정렬을 적용하는 다중 뷰 일관성 학습, (2) 학습 가능한 컨텍스트 프롬프트와 크로스 어텐션을 활용하여 변화하는 데이터 분포에 표현을 동적으로 적응시키는 컨텍스트 인식 표현 조절. 이 두 메커니즘은 표현 정렬과 동적 적응을 통합한다. 다수의 EEG 벤치마크에 대한 실험에서 NeuroOnline은 온라인 환경에서 강력한 베이스라인을 지속적으로 능가하며 분포 변화 하에서 더 나은 성능을 달성함을 보여준다. 절제 연구 및 민감도 연구를 통해 각 구성 요소의 필요성과 전체 설계의 효과성을 추가로 검증한다.

arXiv:2606.30322v1cs.LG공통 태그 Continual Learning, online learning

광학 네트워크 장애 탐지에서 레이블 효율적 개념 드리프트 적응을 위한 하이브리드 능동-온라인 학습 프레임워크

Hybrid Active-Online Learning Framework for Label-Efficient Concept Drift Adaptation in Optical Network Failure Detection

우리는 광학 네트워크 장애 탐지에서 레이블 효율적 개념 드리프트(concept drift) 적응을 위한 하이브리드 능동-온라인 학습 프레임워크를 제안한다. 마진(margin) 기반 선택적 레이블링을 사용하여, 본 방법은 스트리밍 샘플의 3.4%만 쿼리하면서 최고 수준에 근접한 정확도 및 AUC 점수를 달성하며, 정적 추론(inference) 대비 무시할 수 있는 수준의 지연 오버헤드를 보인다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.