arXiv:2609.27202v1 cs.CR

IoT 보안을 위한 신뢰할 수 있는 연합 TinyML 배포

Reliable Federated TinyML Deployment for IoT Security

Younsoo Park, Seokhyoen Bae, Shasi Kumar Ramachandran Prabhu, Suman Saha, Peilong Li

제출 2026-09-24

한국어 초록

사물인터넷(IoT) 기기의 배포가 증가함에 따라 자원 제약이 있는 하드웨어에서 직접 동작하는 프라이버시 보존형 침입 탐지 시스템의 필요성이 커졌습니다. 연합학습(Federated Learning)은 원시 데이터를 공유하지 않고도 협업적 모델 학습을 가능하게 하지만, 기존의 연합 모델은 마이크로컨트롤러급 기기에 배포하기에는 지나치게 크고 불안정한 경우가 많습니다. TinyML 기술은 소형 신경망을 가능하게 하지만 일반적으로 추론 전용 워크로드를 위해 설계됩니다. 본 연구에서는 IoT 환경의 침입 탐지를 위해 연합학습과 TinyML 기반 모델 압축을 결합하는 방안을 조사합니다. 저자들은 연합 학습 파이프라인 내에서 지식 증류, 구조적 가지치기, 양자화를 포함한 압축 전략을 평가합니다. 초기 결과는 학습 안정성이 연합 TinyML 시스템에서 결정적인 역할을 한다는 점을 보여줍니다. 특히, 서버 조율 코사인 학습률 스케줄링(server-coordinated cosine learning-rate scheduling)은 상당한 모델 압축과 효율적인 엣지 배포를 실현하는 동시에 공격 재현율(Attack Recall)을 46.7%에서 93.85%로 향상시킵니다. 이러한 결과는 IoT 기기를 위한 경량화 및 프라이버시 보존형 침입 탐지 시스템 설계에 유용한 통찰을 제공합니다.

원문 초록

The growing deployment of Internet of Things (IoT) devices has increased the need for privacy-preserving intrusion detection systems that operate directly on resource-constrained hardware. Federated Learning enables collaborative model training without sharing raw data, but conventional federated models are often too large and unstable for deployment on microcontroller-class devices. TinyML techniques enable compact neural networks but are typically designed for inference-only workloads. This work investigates combining Federated Learning with TinyML-based model compression for intrusion detection in IoT environments. We evaluate compression strategies including knowledge distillation, structured pruning, and quantization within a federated training pipeline. Preliminary results show that training stability plays a critical role in federated TinyML systems. In particular, server-coordinated cosine learning-rate scheduling improves Attack Recall from 46.7% to 93.85% while enabling substantial model compression and efficient edge deployment. These findings provide insights for designing lightweight and privacy preserving intrusion detection systems for IoT devices.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2609.27202v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.10613v1cs.LG공통 태그 Anomaly Detection, Intrusion Detection, Federated Learning

이상 탐지를 위한 연합 경량 헤드 기반 시계열 트랜스포머 CAN 인코더

Temporal transformer CAN encoder with federated lightweight heads for anomaly detection

현대 차량은 CAN(Controller Area Network) 버스를 통해 지속적으로 정보를 교환하는 수많은 전자제어장치(ECU)에 의존합니다. 이러한 통신의 신속성, 구조, 반복성으로 인해 타이밍, 페이로드 값, 메시지 패턴의 미세한 변화조차도 비정상적인 활동을 나타낼 수 있습니다. 오류, 오작동, 의도적인 간섭 등 원인에 관계없이 이러한 이상 현상은 매우 미묘하여, 메시지를 개별적으로 처리하거나 수작업으로 생성된 규칙에 의존하는 기존 방식으로는 식별하기 어렵습니다. 이러한 한계점을 해결하기 위해, 본 논문에서는 이러한 불규칙성을 더 효과적으로 포착할 수 있도록 연합 경량 헤드를 갖춘 시계열 트랜스포머 CAN 인코더 기반의 차량 내 네트워크 이상 탐지용 프라이버시 보존 프레임워크를 제안합니다. 이 신호들이 시간에 따라 어떻게 변화하는지 학습하는 경량 트랜스포머 인코더를 통해 미묘한 시계열 및 문맥적 이상 현상의 탐지가 가능해지며, 연합학습(federated learning) 메커니즘을 통해 여러 차량이나 ECU가 원시 CAN 데이터를 교환하지 않고도 협력하여 공유 모델을 개선할 수 있습니다. 오픈소스 데이터셋을 대상으로 수행한 실험에 따르면, 이러한 연합학습과 시계열 시퀀스 모델링의 결합은 효율성과 프라이버시를 유지하면서도 견고한 이상 탐지 성능을 제공합니다.

arXiv:2610.10854v2cs.LG공통 태그 Model Compression, Knowledge Distillation

KDFP: 대규모 언어 모델의 지식 증류를 위한 제1원리적 접근법

KDFP: A first-principles approach to knowledge distillation in large language models

지식 증류(knowledge distillation)는 더 크고 성능이 뛰어난 교사 모델의 표현(representation)을 활용해 작고 효율적인 학생 모델을 학습(training)시킴으로써 그 역량을 향상시키는 잘 정립된 기법입니다. 대규모 언어 모델(LLM) 증류에 관한 최근 연구의 상당수는 지시사항 준수(instruction following), 사고의 연쇄(Chain-of-Thought) 추론, 도구 사용 등 사후 학습(post-training) 과정에서 습득된 능력을 증류하는 데 집중되어 왔습니다. 이로 인해 엣지 기기 배포에 적합한 효율적이고 프라이버시가 보장되는 시스템을 개발하는 데 필수적인 LLM의 일반 지식 증류 연구에는 큰 공백이 남게 되었습니다. 본 연구에서는 이전 연구들의 교훈을 평가하고 새로운 탐색을 수행하는 제1원리적(first-principles) 접근법을 취하여 현대 LLM에 적합한 증류 방법론을 개발합니다. 본 논문에서는 LLM의 화이트박스 일반 지식 증류를 위한 새로운 방법론인 KDFP를 제시합니다. 실험을 통해 KDFP가 임시 매개변수(parameter) 감축을 통해 학습 효율성을 최대 99.1%까지 향상시키면서, 9개 벤치마크 전반에서 기존 기법들을 1.6% $-$ 4.9% 능가함을 입증합니다.

arXiv:2610.15997v1cs.LG공통 태그 Model Compression, Knowledge Distillation

표현 차이 증류

Representational Difference Distillation

지식 증류(knowledge distillation)는 거대한 교사 네트워크에서 소형 학생 네트워크로 표현 지식을 전달합니다. 기존의 관계형 및 대조적 증류 방법들은 모든 샘플을 균일하게 처리하여, 표현 공간에서 잘 일치하는 영역과 제대로 일치하지 않는 영역 모두에 동일한 그래디언트를 소모합니다. 본 논문에서는 교사와 학생의 표현이 구조적으로 불일치하는 부분을 진단하고 해당 영역에 증류 신호를 집중시키는 표현 차이 증류(Representational Difference Distillation, RDD)를 제안합니다. RDD는 불일치의 서로 다른 방향을 포착하는 두 개의 비대칭 친화도 행렬(affinity matrix)을 사용합니다. 하나는 학생이 잘못 유사하다고 간주하는 샘플들을 식별하고, 다른 하나는 학생이 아직 학습하지 못한 교사의 관계를 식별합니다. 이러한 친화도는 증류 손실이 정렬할 샘플 쌍과 잘못 정렬된 각 샘플을 얼마나 강하게 교정할지를 결정합니다. resnet32x4에서 resnet8x4로의 CIFAR-100 실험에서 RDD는 자체 실행 기준 75.58%의 테스트 정확도에 도달하여 CRD(75.45%)와 대등하고 KD 및 RKD를 상회하는 성능을 달성했습니다. 또한 커리큘럼 기반 및 샘플링 기반 변형을 추가로 탐색하여 데이터를 필터링하는 것보다 손실에 가중치를 부여하는 것이 더 효과적임을 확인했습니다.

arXiv:2610.02462v1cs.LG공통 태그 Model Compression, Knowledge Distillation

LLM 압축을 위한 능력 축소 스케일링 법칙

Capability Scaling-Down Laws for LLM Compression

LLM 압축은 추론 비용과 메모리 요구량을 줄여주지만, 비슷한 자원 절감으로도 서로 다른 능력 손실이 발생할 수 있기 때문에 압축 방법과 설정을 선택하는 일은 대부분 경험적으로 이루어진다. 본 연구는 가지치기(pruning), 양자화(quantization), 지식 증류(distillation) 전반에 걸쳐 LLM 압축에 대한 능력 축소 스케일링 법칙을 체계적으로 조사한다. 우리의 프레임워크는 수학, 코드 생성, 질의응답에서의 능력 손실을 측정하고, 이 측정값을 모델 크기, 학습 단계, 압축 설정, 데이터 가용성, 학습 노출(training exposure)과 연관시킨다. 우리는 단순한 예측 관계식을 개발하고, 그 정확도, 측정 효율성, 그리고 보지 못한 설정 및 모델 상태로의 일반화 성능을 평가한다. 가지치기 수준 전반에서 밀도 반응(density response)을 공유하면 가지치기 예측기를 적합시키는 데 필요한 설정 측정 횟수가 절반으로 줄어든다: 새로운 Pythia 상태, 사전 등록된(pre-registered) OLMo-2 테스트 상태, 그리고 Wanda 가지치기 하에서, 이 간결한 관계식은 수학과 코드에 대한 모든 측정값으로 적합시킨 회귀 모델과 토큰당 0.020 나트(nats) 이내로 일치하며, 계수는 각 설정마다 다시 적합된다. 통제된 지식 증류 실험은 과도한 데이터 재사용(heavy data reuse)의 비용이 질의응답 분포 전반에서 반복적으로 나타나는 반면, 순이익(net benefit)은 평가 분포에 따라 달라짐을 보여준다. 우리는 또한 수치적 선택(numerical selection)을 설정 중앙값(configuration median) 및 고정된 방법 우선순위(fixed method priority)와 비교함으로써 이러한 예측의 의사결정 가치를 평가한다. 두 모델 패밀리에 대한 독립적인 평가 결과, 테스트된 후보 집합 내에서 선택 방식이 질의응답에 대해 얻을 수 있는 방법 간 이점(cross-method benefit)의 대부분을 포착하며, 이때 고정된 방법 우선순위도 동일한 리그렛(regret)을 달성하는 반면, 수학과 코드에서는 그 기회가 더 작음을 보여준다. 이러한 결과는 능력 축소 스케일링 법칙의 예측 범위와 압축 방법 선택에서의 활용 방안을 명확히 한다. 코드는 다음 주소에서 공개되어 있다: https://github.com/LabRAI/scaling_down_law.

arXiv:2610.02516v1cs.LG공통 태그 Model Compression, Knowledge Distillation

효율적인 LLM 작업 라우팅을 위한 학생 모델 주도 교사 증류: Jev 방식 System-1 분류기와의 포지셔닝

Student-Guided Teacher Distillation for Efficient LLM Task Routing: Positioning Against Jev-Style System-1 Classifiers

제로샷(zero-shot) 분류기는 사용자 요청을 특화된 LLM 작업으로 라우팅하는 데 유용하지만, 모든 요청을 대규모 후보 집합에 대해 채점하는 것은 비용이 많이 든다: 제로샷 NLI(자연어 추론) 분류기는 레이블마다 전제-가설(premise-hypothesis) 쌍을 하나씩 평가해야 하므로, 비용이 분류 체계(taxonomy) 크기에 선형적으로 증가한다. 우리는 60개의 LLM 작업 범주로 구성된 고정된 분류 체계에 대해 학생 모델 주도 교사 증류 파이프라인을 연구한다: 소형 ModernBERT 분류기가 한 번의 순전파(forward pass)로 전체 범주 분포를 예측하고 소규모 top-k 후보 집합을 검색하며, 더 큰 DeBERTa-v3 제로샷 NLI 분류기는 60개 레이블 전체가 아니라 이 후보들만 재순위화(rerank)한다; 그 결과로 생성된 교사 레이블은 반복적으로 학생 모델을 개선하며, 이는 다음 라운드에서 더 정교한 후보를 생성한다. 극단적 다중 레이블 분류(extreme multi-label classification)에서 사용되는 일반적인 임베딩 검색이나 클러스터링 기반 숏리스트와 달리, 우리의 후보 생성기는 대상 분류 체계에 대해 종단간(end-to-end)으로 학습되며, 프로덕션 트래픽을 모델 서빙(model serving)하는 것과 동일한 모델이다. 이는 후보 모델들 사이를 라우팅하는 LLM 라우팅 연구와, 학습 방법론이 문서화되지 않았거나 강화학습(RL) 기반인 동시대의 System-1 인코더-분류기 제안들(예: TypeSafe AI의 Jev 및 오픈소스 Laya 프로젝트)과 구별된다. 우리의 최고 성능 학생 체크포인트는 200개 예제로 구성된 평가셋에서 77.5%의 교사 일치율(teacher agreement)을 달성하며, 예비 커버리지(coverage) 측정 결과 Coverage@16이 91-100%로 나타나, top-k 집합이 교사의 결정에 관련된 정보 대부분을 유지함을 시사한다. 우리는 또한 잘린(truncated) top-k 교사 점수를 KL 증류를 위한 전체 60개 클래스 소프트 타겟(soft target)으로 취급해서는 안 됨을 보인다: 잘리지 않은 클래스를 0으로 만드는 것은 소프트 레이블 증류가 의존하는 다크 지식(dark knowledge)을 파괴하며, 이는 무해한 희소 근사(sparse approximation)가 아니라 체계적인 바이어스(bias)를 유발한다. 보류 평가셋(held-out set)에서 여러 k 값에 대한 커버리지, 임베딩 검색 기준선(baseline), 그리고 사람이 검토한 더 큰 테스트셋을 포함하는 완전한 평가는 아직 진행 중이다.

arXiv:2610.02552v1cs.CR공통 태그 Anomaly Detection, Intrusion Detection

동기화에서 벗어나 시야에서 사라지다: 산업용 사물인터넷(IIoT) 침입 탐지를 겨냥한 유령 상태 공격

Out of Sync, Out of Sight: Phantom State Attacks against IIoT Intrusion Detection

머신러닝 기반 침입 탐지 시스템(IDS)은 산업용 사물인터넷(IIoT) 환경의 보안을 유지하는 데 매우 중요합니다. 이에 대응하는 대부분의 적대적 공격 연구는 특징(feature) 벡터나 이를 생성하는 트래픽을 섭동(perturbation)하며, 그래디언트(gradient) 접근, 반복적인 모델 쿼리, 또는 정상 트래픽에 대해 학습된 모델에 의존합니다. 일부 연구에서는 탐지기에 쿼리하지 않고 패킷 타이밍을 재구성하기도 하지만, 악성 트래픽이 정상 타이밍의 학습된 모델을 모방하도록 만듭니다. 이러한 접근법 전반에서 산업 모니터링 파이프라인의 중요한 가정 하나가 거의 주목받지 못했는데, 바로 시간 동기화(temporal synchronization)입니다. IDS는 텔레메트리를 슬라이딩 또는 텀블링 윈도우로 집계하여 운영 상태를 재구성하므로, IDS의 관점은 무엇이 관측되었는지뿐만 아니라 각 관측치가 윈도우 경계와 비교하여 언제 발생하는지에도 의존합니다. 본 논문에서는 수동적이고 쿼리가 없는(zero-query) 위협 모델 하에서 이러한 의존성을 악용하는 유령 상태 공격(Phantom State Attack, PSA)을 소개합니다. PSA는 패킷을 수정하거나, 특징을 섭동하거나, 분류기에 쿼리하거나, 정상 트래픽 모델을 피팅하는 대신, 공격 흐름 자체의 패킷 도착 간 변동성에 맞춰 보정된 유계 타이밍 드리프트(bounded timing drift)를 주입하여 관측치를 가장 가까운 윈도우 경계 너머로 필요한 최소한의 이동량만큼 이동시킵니다. 그러면 IDS는 실제 프로세스 상태와 다른 유령 상태(phantom state)를 재구성하게 됩니다. 저자들은 ToN-IoT 및 CIC IIoT 2025(DataSense) 데이터셋에서 Random Forest, MLP, XGBoost를 대상으로 PSA를 평가하고, 탐지 성능 저하, 동기화 왜곡, 은닉성, 공격자 비용을 측정했습니다. PSA는 윈도우 경계 재배치가 가능할 만큼 충분한 패킷을 가진 플로우에서는 탐지 성능을 저하시키고 다른 플로우는 거의 변화시키지 않으므로 그 효과는 조건부입니다. 쿼리 기반 기준선(baseline)은 더 높은 원시 성공률에 도달하지만 윈도우당 많은 쿼리를 필요로 하는 반면, PSA는 쿼리를 전혀 필요로 하지 않습니다. 본 결과는 시간적 집계(temporal aggregation)가 기존 회피 기법보다 더 완화된 가정 하에서도 도달 가능한 공격 표면임을 입증합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.