arXiv:2608.10434v2 cs.AI

무인 항공기(UAV) 침입 탐지를 위한 대화형 대 대시보드 설명가능한 AI: 운용자 신뢰 및 의존성에 대한 실증 연구

Conversational versus Dashboard Explainable AI for UAV Intrusion Detection: An Empirical Study of Operator Trust and Reliance

Cong Chi Nguyen, Trang Mai Xuan, Vu-Duc Ngo, Kim-Ngan Thi Nguyen, Trong-Nghia Nguyen, Thien Van Luong

제출 2026-08-11

저자 비고

arXiv Comments

We have discovered a critical error in our experimental data that invalidates the main conclusions

한국어 초록

머신러닝 기반 침입 탐지 시스템(IDS)은 무인 항공기(UAV) 네트워크 보안에서 우수한 성능을 입증해 왔습니다. 그러나 이러한 모델의 '블랙박스' 특성과 다중모달(multimodal) 사이버-물리 데이터의 고차원성이 결합되어 심각한 해석 가능성 문제를 야기합니다. 정적 시각화 대시보드는 다중모달 사이버-물리적 특징 간의 복잡한 관계를 운용자가 쉽게 점검하고 해석할 수 있는 형태로 표현하는 데 어려움을 겪을 수 있습니다. 이를 해결하기 위해, 우리는 온디맨드 조사를 용이하게 하는 대규모 언어 모델(LLM) 기반의 대화형 설명가능한 AI(XAI) 인터페이스를 제안합니다. 참가자를 대상으로 한 통제된 실험을 통해, 사후 침해 감사 작업 중 운용자의 이해도, 신뢰 및 의존성에 미치는 대화형 인터페이스와 기존 XAI 대시보드의 영향을 체계적으로 평가했습니다. 연구 결과에 따르면 대화형 인터페이스는 대시보드보다 더 유용한 것으로 인식되었으며, 이는 참가자들이 관련 정보에 더 쉽게 접근하고 이를 종합할 수 있도록 도왔기 때문인 것으로 보입니다. 그러나 이러한 이점은 적절한 자립성(self-reliance) 수준 저하를 동반하여, 과도한 의존의 잠재적 위험을 나타냈습니다. 한 가지 가능한 해석은 자연어 응답이 AI의 조언을 더 쉽게 수용하도록 만들어, IDS가 올바르지 않았을 때 참가자들이 근본적인 증거를 검증하려는 경향을 감소시켰을 수 있다는 점입니다. 이러한 발견은 UAV 침입 감사에서 인간-AI 협업의 잠재적 트레이드오프를 시사합니다. 즉, 인지된 유용성을 높이는 상호작용 메커니즘이 부적절한 의존 위험을 증가시킬 수도 있다는 것입니다. 결론에서는 원활한 상호작용과 인지적 강제 기능(cognitive forcing functions) 사이의 균형을 유지하여 적절한 의존성을 촉진하는 미래 XAI 시스템에 대한 설계 시사점을 논의합니다.

원문 초록

Machine learning-based Intrusion Detection Systems (IDS) have demonstrated superior performance in securing Unmanned Aerial Vehicle (UAV) networks. However, the 'black-box' nature of these models, combined with the high dimensionality of multimodal cyber-physical data, poses significant interpretability challenges. Static visualization dashboards may struggle to present complex relationships among multimodal cyber-physical features in a form that is easy for operators to inspect and interpret. To address this, we propose a Conversational XAI interface powered by Large Language Models (LLM) to facilitate on-demand investigation. In a controlled experiment with participants, we systematically evaluated the impact of this conversational interface versus a traditional XAI Dashboard on operator understanding, trust, and reliance during post-incident auditing tasks. Our results suggest that the conversational interface was perceived as more useful than the dashboard, potentially because it helped participants access and synthesize relevant information more easily. However, this benefit was accompanied by a lower level of appropriate self-reliance, indicating a potential risk of over-reliance. One possible interpretation is that the natural-language responses made the AI advice easier to accept, which may have reduced participants' tendency to verify the underlying evidence when the IDS was incorrect. These findings point to a potential trade-off in human-AI collaboration for UAV intrusion auditing: interaction mechanisms that improve perceived usability may also increase the risk of inappropriate reliance. We conclude by discussing design implications for future XAI systems that balance seamless interaction with cognitive forcing functions to foster appropriate reliance.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2608.10434v2

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.10613v1cs.LG공통 태그 Anomaly Detection, Intrusion Detection

이상 탐지를 위한 연합 경량 헤드 기반 시계열 트랜스포머 CAN 인코더

Temporal transformer CAN encoder with federated lightweight heads for anomaly detection

현대 차량은 CAN(Controller Area Network) 버스를 통해 지속적으로 정보를 교환하는 수많은 전자제어장치(ECU)에 의존합니다. 이러한 통신의 신속성, 구조, 반복성으로 인해 타이밍, 페이로드 값, 메시지 패턴의 미세한 변화조차도 비정상적인 활동을 나타낼 수 있습니다. 오류, 오작동, 의도적인 간섭 등 원인에 관계없이 이러한 이상 현상은 매우 미묘하여, 메시지를 개별적으로 처리하거나 수작업으로 생성된 규칙에 의존하는 기존 방식으로는 식별하기 어렵습니다. 이러한 한계점을 해결하기 위해, 본 논문에서는 이러한 불규칙성을 더 효과적으로 포착할 수 있도록 연합 경량 헤드를 갖춘 시계열 트랜스포머 CAN 인코더 기반의 차량 내 네트워크 이상 탐지용 프라이버시 보존 프레임워크를 제안합니다. 이 신호들이 시간에 따라 어떻게 변화하는지 학습하는 경량 트랜스포머 인코더를 통해 미묘한 시계열 및 문맥적 이상 현상의 탐지가 가능해지며, 연합학습(federated learning) 메커니즘을 통해 여러 차량이나 ECU가 원시 CAN 데이터를 교환하지 않고도 협력하여 공유 모델을 개선할 수 있습니다. 오픈소스 데이터셋을 대상으로 수행한 실험에 따르면, 이러한 연합학습과 시계열 시퀀스 모델링의 결합은 효율성과 프라이버시를 유지하면서도 견고한 이상 탐지 성능을 제공합니다.

arXiv:2610.02552v1cs.CR공통 태그 Anomaly Detection, Intrusion Detection

동기화에서 벗어나 시야에서 사라지다: 산업용 사물인터넷(IIoT) 침입 탐지를 겨냥한 유령 상태 공격

Out of Sync, Out of Sight: Phantom State Attacks against IIoT Intrusion Detection

머신러닝 기반 침입 탐지 시스템(IDS)은 산업용 사물인터넷(IIoT) 환경의 보안을 유지하는 데 매우 중요합니다. 이에 대응하는 대부분의 적대적 공격 연구는 특징(feature) 벡터나 이를 생성하는 트래픽을 섭동(perturbation)하며, 그래디언트(gradient) 접근, 반복적인 모델 쿼리, 또는 정상 트래픽에 대해 학습된 모델에 의존합니다. 일부 연구에서는 탐지기에 쿼리하지 않고 패킷 타이밍을 재구성하기도 하지만, 악성 트래픽이 정상 타이밍의 학습된 모델을 모방하도록 만듭니다. 이러한 접근법 전반에서 산업 모니터링 파이프라인의 중요한 가정 하나가 거의 주목받지 못했는데, 바로 시간 동기화(temporal synchronization)입니다. IDS는 텔레메트리를 슬라이딩 또는 텀블링 윈도우로 집계하여 운영 상태를 재구성하므로, IDS의 관점은 무엇이 관측되었는지뿐만 아니라 각 관측치가 윈도우 경계와 비교하여 언제 발생하는지에도 의존합니다. 본 논문에서는 수동적이고 쿼리가 없는(zero-query) 위협 모델 하에서 이러한 의존성을 악용하는 유령 상태 공격(Phantom State Attack, PSA)을 소개합니다. PSA는 패킷을 수정하거나, 특징을 섭동하거나, 분류기에 쿼리하거나, 정상 트래픽 모델을 피팅하는 대신, 공격 흐름 자체의 패킷 도착 간 변동성에 맞춰 보정된 유계 타이밍 드리프트(bounded timing drift)를 주입하여 관측치를 가장 가까운 윈도우 경계 너머로 필요한 최소한의 이동량만큼 이동시킵니다. 그러면 IDS는 실제 프로세스 상태와 다른 유령 상태(phantom state)를 재구성하게 됩니다. 저자들은 ToN-IoT 및 CIC IIoT 2025(DataSense) 데이터셋에서 Random Forest, MLP, XGBoost를 대상으로 PSA를 평가하고, 탐지 성능 저하, 동기화 왜곡, 은닉성, 공격자 비용을 측정했습니다. PSA는 윈도우 경계 재배치가 가능할 만큼 충분한 패킷을 가진 플로우에서는 탐지 성능을 저하시키고 다른 플로우는 거의 변화시키지 않으므로 그 효과는 조건부입니다. 쿼리 기반 기준선(baseline)은 더 높은 원시 성공률에 도달하지만 윈도우당 많은 쿼리를 필요로 하는 반면, PSA는 쿼리를 전혀 필요로 하지 않습니다. 본 결과는 시간적 집계(temporal aggregation)가 기존 회피 기법보다 더 완화된 가정 하에서도 도달 가능한 공격 표면임을 입증합니다.

arXiv:2610.01364v1cs.MA공통 태그 Decision Making, Anomaly Detection

스킬 기반 스마트 제조를 위한 LLM 기반 다중 에이전트 제어

LLM-Driven Multi-Agent Control for Skill-Based Smart Manufacturing

공장은 높은 수준의 제품 맞춤화를 갖춘 소량 생산 체제로 전환되고 있으며, 이에 따라 유연하고 재구성 가능한 자동화 시스템의 빈번한 재프로그래밍이 요구됩니다. 대규모 언어 모델(LLM) 기반 에이전트(agent)는 상호보완적인 두 가지 역할로 배치될 수 있습니다. 오프라인에서는 결정론적 생산 시퀀스를 생성하여 프로그래밍 노력을 줄이고, 온라인에서는 실제 기계를 운영하며 정적 프로그램이 예측할 수 없는 런타임 오류를 처리합니다. 본 논문에서는 각 공장 모듈을 전용 LLM 기반 에이전트 및 OPC UA 메서드 호출을 통해 모듈의 스킬을 노출하는 MCP 툴 서버와 결합하고, 에이전트들이 MQTT를 통해 조율하며 공장 상태의 실시간 업데이트를 바탕으로 그라운딩(grounding)되는 솔루션을 제안합니다. 실제 6개 모듈 육각형 공장의 시뮬레이션 환경에서 무음 하드웨어 결함 감지를 포함하여 복잡성이 증가하는 9가지 생산 과제를 대상으로 세 가지 에이전트 아키텍처(오케스트레이터, 피어투피어, 모놀리식)를 비교합니다. 모놀리식 및 피어투피어 아키텍처는 모두 가장 높은 평균 해결률(93%)을 달성한 반면, 오케스트레이터는 차단된 구간 주변으로 플레이트 경로를 자율적으로 재지정함으로써 10회 실행 모두에서 무음 컨베이어 벨트 결함을 유일하게 해결했습니다. 모든 아키텍처는 명시적인 장애 처리 로직 없이도 창발적(emergent) 결함 진단 동작을 보이며, 표준화된 MCP 툴링, MQTT 기반 에이전트 간 통신, 실시간 상태 주입이 LLM으로 프로그래밍되는 스마트 제조를 위한 실용적이고 재현 가능한 기반임을 입증합니다.

arXiv:2610.01872v1cs.CR공통 태그 Anomaly Detection, Intrusion Detection

네트워크 침입 탐지부터 블록체인 기반 엔드포인트 탐지 및 대응까지: 탈중앙화 탐지 및 대응 아키텍처의 현황 분석

From Network Intrusion Detection to Blockchain-Backed Endpoint Detection and Response: Mapping the Landscape of Decentralized Detection-and-Response Architectures

사물인터넷(IoT) 및 산업용 사물인터넷(IIoT) 네트워크를 위한 블록체인 지원 침입 탐지 및 방지 시스템(IDS/IPS)에 관한 연구는 성숙 단계에 접어들었으나, 기존의 체계적 문헌고찰(systematic review)들은 두 가지 결정적인 한계를 지닙니다. 즉, 현대적인 엔드포인트 탐지 및 대응(EDR)과 확장 탐지 및 대응(XDR) 아키텍처로의 구조적 전환을 간과하고 있으며, 블록체인의 고유한 기능적 역할들을 단일한 하나의 범주로 혼동하고 있다는 점입니다. 본 지식 체계화(SoK) 연구는 탐지 시스템 클래스(NIDS, HIDS, EDR/XDR), 블록체인의 기능적 역할, 대응 자동화 성숙도를 기준으로 제안들을 분류하는 3축 분류 체계(taxonomy)를 제안하여 이러한 공백을 해소합니다. 2019년부터 2026년 사이에 저명 학술지에 발표된 연구를 종합하여, 지연 시간, 배포, 커뮤니티 간의 불일치로 인해 엔드포인트별 진정한 블록체인 연계 대응 루프가 거의 존재하지 않는 이유를 밝히는 엄밀한 갭 분석(gap analysis)을 제공합니다. 나아가 제한된 기기에서의 합의 지연 시간, 양자 내성 암호화 취약성, 스마트 계약 공격 표면, 그리고 진화하는 대규모 언어 모델(LLM) 기반 탐지 엔진의 적대적 취약성을 포함하여 문헌 전반에 지속되는 구조적이고 교차적인 도전 과제들을 평가합니다. 마지막으로, 탈중앙화된 신뢰와 신속한 대응 자동화 사이의 격차를 해소하기 위해 온체인/오프체인 하이브리드 오케스트레이션을 중심으로 한 포괄적인 연구 로드맵을 제시합니다.

arXiv:2609.26841v1cs.NE공통 태그 Decision Making, explainable ai

NeuroRule: 규칙 집합 진화를 통한 블랙박스 신경망 설명 가능화

NeuroRule: Making Black-Box Neural Networks Explainable through Rule-set Evolution

고용량 신경망 모델은 다양한 분류 과제에서 최첨단 성능을 달성해 왔지만, 종종 블랙박스 모델로 동작하여 중요한 의사결정에 필요한 투명성을 갖추지 못한다. 이러한 불투명성은 성능과 설명 가능성 사이의 지속적인 트레이드오프를 만든다. 본 논문은 이러한 공백을 메우기 위한 해결책으로, 신경망 모델로부터 설명 가능한 규칙 집합을 도출하는 NeuroRule 지식 증류 프레임워크를 제안한다. NeuroRule은 EVOTER 규칙 집합 진화 인프라를 적용하여 신경망을 진화 과정의 대상으로 삼고, 그 성능을 간결한 명제 논리 표현들의 집합으로 지식 증류한다. 주요 기여는 세 가지이다: (1) 블랙박스 신경망 모델을 명시적인 규칙 집합 모델로 지식 증류하는 진화적 방법; (2) 진화에 간결성 목표를 포함하여 규칙 집합을 더 설명 가능하게 만드는 방법; (3) 원본 신경망 학습 데이터에 접근하지 않아도 지식 증류가 가능함을 보여주는 실증. 이로써 본 논문은 블랙박스 신경망 모델을 설명 가능하게 만들 수 있으며, 따라서 신뢰성이 무엇보다 중요한 실제 응용에서 유용하게 쓰일 수 있음을 보여준다.

arXiv:2609.27202v1cs.CR공통 태그 Anomaly Detection, Intrusion Detection

IoT 보안을 위한 신뢰할 수 있는 연합 TinyML 배포

Reliable Federated TinyML Deployment for IoT Security

사물인터넷(IoT) 기기의 배포가 증가함에 따라 자원 제약이 있는 하드웨어에서 직접 동작하는 프라이버시 보존형 침입 탐지 시스템의 필요성이 커졌습니다. 연합학습(Federated Learning)은 원시 데이터를 공유하지 않고도 협업적 모델 학습을 가능하게 하지만, 기존의 연합 모델은 마이크로컨트롤러급 기기에 배포하기에는 지나치게 크고 불안정한 경우가 많습니다. TinyML 기술은 소형 신경망을 가능하게 하지만 일반적으로 추론 전용 워크로드를 위해 설계됩니다. 본 연구에서는 IoT 환경의 침입 탐지를 위해 연합학습과 TinyML 기반 모델 압축을 결합하는 방안을 조사합니다. 저자들은 연합 학습 파이프라인 내에서 지식 증류, 구조적 가지치기, 양자화를 포함한 압축 전략을 평가합니다. 초기 결과는 학습 안정성이 연합 TinyML 시스템에서 결정적인 역할을 한다는 점을 보여줍니다. 특히, 서버 조율 코사인 학습률 스케줄링(server-coordinated cosine learning-rate scheduling)은 상당한 모델 압축과 효율적인 엣지 배포를 실현하는 동시에 공격 재현율(Attack Recall)을 46.7%에서 93.85%로 향상시킵니다. 이러한 결과는 IoT 기기를 위한 경량화 및 프라이버시 보존형 침입 탐지 시스템 설계에 유용한 통찰을 제공합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.