MonitorVLM: 광산 작업의 안전 위반 탐지를 위한 비전-언어 프레임워크
MonitorVLM:A Vision Language Framework for Safety Violation Detection in Mining Operations
한국어 초록
노천 및 지하 광산과 같은 고위험 분야의 산업 재해는 작업자의 불안전한 행동으로 인해 빈번히 발생한다. 전통적인 수동 점검은 여전히 노동 집약적이고 오류가 발생하기 쉬우며, 대규모의 동적인 환경에는 불충분하여 지능형 자동 안전 모니터링의 필요성이 시급함을 보여준다. 본 논문에서는 감시 비디오 스트림에서 직접 안전 위반을 탐지하도록 설계된 새로운 비전-언어 프레임워크 MonitorVLM을 제시한다. MonitorVLM은 세 가지 핵심 혁신을 도입한다. (1) 증강과 보조 탐지 단서로 보강된, 빈도가 높은 40개 광산 규정에 걸친 9,000개의 비전-질문-답변(VQA) 샘플로 구성된 도메인 특화 위반 데이터셋, (2) 가장 관련성 높은 상위 $K$개 조항을 동적으로 선택하여 정확도를 유지하면서 추론 지연 시간을 13.56% 줄이는 조항 필터(CF) 모듈, (3) 작업자 영역을 강조하여 세밀한 행동 인식을 향상시킴으로써 정밀도 3.45%, 재현율 8.62%의 추가 향상을 가져오는 행동 확대기(BM) 모듈이다. 실험 결과 MonitorVLM은 기준 비전-언어 모델을 크게 능가하며, 파인튜닝되지 않은 72B 기준 모델 대비 정밀도 22.01%, 재현율 34.22%, F1 점수 28.37%의 향상을 달성하였다. 경량 웹 기반 인터페이스는 MonitorVLM을 실제 업무 흐름에 추가로 통합하여, 비디오 타임스탬프가 포함된 자동 위반 보고를 가능하게 한다. 본 연구는 광산 및 그 밖의 분야에서 직업 안전 모니터링을 강화하는 멀티모달 대형 모델의 잠재력을 강조한다.
원문 초록
Industrial accidents, particularly in high-risk domains such as surface and underground mining, are frequently caused by unsafe worker behaviors. Traditional manual inspection remains labor-intensive, error-prone, and insufficient for large-scale, dynamic environments, highlighting the urgent need for intelligent and automated safety monitoring. In this paper, we present MonitorVLM, a novel vision--language framework designed to detect safety violations directly from surveillance video streams. MonitorVLM introduces three key innovations: (1) a domain-specific violation dataset comprising 9,000 vision--question--answer (VQA) samples across 40 high-frequency mining regulations, enriched with augmentation and auxiliary detection cues; (2) a clause filter (CF) module that dynamically selects the Top-$K$ most relevant clauses, reducing inference latency by 13.56% while maintaining accuracy; and (3) a behavior magnifier (BM) module that enhances worker regions to improve fine-grained action recognition, yielding additional gains of 3.45% in precision and 8.62% in recall. Experimental results demonstrate that MonitorVLM significantly outperforms baseline vision--language models, achieving improvements of 22.01% in precision, 34.22\% in recall, and 28.37% in F1 score over the 72B unfine-tuned baseline. A lightweight web-based interface further integrates MonitorVLM into practical workflows, enabling automatic violation reporting with video timestamping. This study highlights the potential of multimodal large models to enhance occupational safety monitoring in mining and beyond.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2510.03666v3제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.