A distillation-based approach integrating continual learning and federated learning for pervasive services
원문 초록
Federated Learning, a new machine learning paradigm enhancing the use of edge devices, is receiving a lot of attention in the pervasive community to support the development of smart services. Nevertheless, this approach still needs to be adapted to the specificity of the pervasive domain. In particular, issues related to continual learning need to be addressed. In this paper, we present a distillation-based approach dealing with catastrophic forgetting in federated learning scenario. Specifically, Human Activity Recognition tasks are used as a demonstration domain.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
적응이 해가 될 때: 연합 학습 웨어러블 온보딩에서의 분할 민감성과 개인 수준 부정적 전이
When Adaptation Hurts: Split Sensitivity and Person-Level Negative Transfer in Federated Wearable Onboarding
연합 학습 웨어러블 모델은 결국 소스 학습에 포함되지 않은 사람들에게 서비스를 제공하지만, 유리한 평균 정확도만으로는 라벨 없는 온보딩이 각 개인에게 도움이 된다는 것을 입증하지 않는다. 우리는 다섯 개의 웨어러블 데이터셋에서 여섯 가지 핵심 온보딩 전략을, 소스 체크포인트를 고정하고 정규화는 소스 데이터만으로 추정하며, 보정과 평가 기록을 분리하고, 윈도우·기기·무작위 시드가 아닌 보류(hold-out)된 사람 단위로 추론을 수행하는 누출 통제 프로토콜 하에서 평가한다. 적격한 HHAR 및 PAMAP2의 외부-개인(person) 로테이션을 모두 완료하면 원래 고정(frozen) fold에서 얻은 결론이 실질적으로 달라진다. HHAR에서 해당 단일 개인에 대한 균형 정확도(balanced accuracy)는 방법에 걸쳐 95.6–97.2%인 반면 아홉 명의 사용자 전체에서는 78.3–83.0%로, 13.8–17.8 percentage points(pp) 감소한다. 두 데이터셋 모두에서 표시되는 평균 1위 방법이 바뀌지만, paired leader-runner 부트스트랩 구간은 0을 포함하여 우월한 방법을 판별하지 못한다. 어떤 적응형 핵심 메커니즘도 다섯 데이터셋 모두에서 양의 평균 이득과, 시드 평균 후 2pp를 초과하는 개인 수준 손실이 전혀 없는 조합을 동시에 만족하지 않는다. FedBN은 그러한 손실이 하나이고 ATP-style 적응은 여덟 개이며, Feature-only는 시드 평균 후에는 없지만 정확한 일측 95% 상한은 7.6%이다. 보완적 seed-person 스트레스 감사(audit)는 FedBN, ATP-style, Feature-only에 대해 각각 114회 중 4, 22, 10건의 해로운 realization을 기록한다. 이는 독립적인 참가자가 아니라 반복된 realization이다. 꼬리(tail) 품질, 보정 가용성, 낙상(fall) 윈도우 특이성은 평균 정확도에 가려진 추가적 실패를 드러낸다. 따라서 본 연구는 보편적 우월성이나 배포 안전성 주장이 아니라, 감사 가능한 개발 벤치마크와 실패 지도를 제공한다.
연합 MLLM 미세조정을 위한 탄성 정규화 및 합성 리플레이 기반 지속 학습
Continual Learning with Elastic Regularization and Synthetic Replay for Federated MLLM Fine-Tuning
분산 네트워크 전반에 걸친 멀티모달 대규모 언어 모델(MLLM)의 연합 미세조정은 진화하는 데이터 스트림에 대한 프라이버시 민감 적응을 가능하게 하지만, 동적 환경에서의 견고한 배포를 막는 근본적 장애물이 존재한다: 순차적 과제 업데이트가 시각, 언어, 교차 모달 표현에 걸쳐 이전에 습득한 지식을 지워버리는 치명적 망각(catastrophic forgetting)이다. 이러한 과제를 해결하는 것은 콘텐츠 검열과 같은 안전성 민감 영역에서 운용되는 자율 연결형 AI에 특히 중요하며, 여기서 이전 지식의 신뢰할 수 있는 유지는 시스템 무결성의 기반이 된다. 이를 극복하기 위해, 우리는 연합 지속 다중모달 학습(FedCMM)을 제안한다. 이는 세 가지 상호 보완적 수준에서 연합 최적화 루프에 지속 학습 보호 장치를 내장하는 프레임워크이다. 매개변수 수준에서, 모달리티 인식 탄성 가중치 통합(elastic weight consolidation)은 비전 인코더, 언어 백본, 교차 모달 프로젝터에 대해 각각 별도의 Fisher 정보 행렬을 계산하여, 모달리티 특화 망각에 대한 세밀하고 비대칭 인식 보호를 제공한다. 데이터 수준에서, 각 클라이언트는 경량 로컬 생성형 리플레이 모듈을 학습하여 원시 데이터 공유 없이 원시 데이터 없는 임베딩 수준 멀티모달 리플레이 튜플을 합성한다. 집계 수준에서, 과제 유사도 인식 그래디언트 집계는 그래디언트 코사인 유사도에 따라 클라이언트 업데이트를 자율적으로 필터링하고 재가중하여 충돌하는 방향을 억제하고 전역 학습 궤적을 안정화한다. 두 벤치마크에 대한 광범위한 실험은 FedCMM이 정확도와 역방향 전이(backward transfer)에서 최근 베이스라인을 일관되게 능가함을 보여주며, 전체적이고 모달리티 인식 최적화가 이질적인 연결형 AI 배포 전반에 걸쳐 견고한 진화적 적응을 가능하게 함을 확인한다.
HERO: 연합 지속 학습을 위한 이질성 인식 벤치마크 라이브러리
HERO: A Heterogeneity-Aware Benchmark Library for Federated Continual Learning
연합 지속 학습(FCL)은 분산된 클라이언트들이 변화하는 데이터 스트림에서 학습하면서 이전에 학습한 지식을 유지하는 방식을 평가한다. 기존 평가들은 데이터셋, 태스크 분할, 클라이언트 데이터 분할, 태스크 순서, 백본, 메모리 가정, 보고 규칙을 동시에 변경하는 경우가 많아 비교가 어렵다. 우리는 FCL을 위한 이질성 인식 벤치마크 라이브러리인 HERO를 소개한다. HERO는 흔히 결합되어 있는 세 가지 선택, 즉 태스크 분할, 클라이언트 데이터 분할, 클라이언트 태스크 시퀀스를 분리하여 벤치마크 스트림을 구성한다. 주요 비교 벤치마크인 HERO-Core에서 α는 클라이언트 데이터 편중을 제어하고, ρ는 태스크 순서 불일치를 제어한다. 우리는 CIFAR-100과 TinyImageNet에서 대표적인 FCL 방법들을 최종 평균 정확도, 평균 망각, 하위 10% 클라이언트 정확도를 기준으로 평가한다. 또한 OGB-MolPCBA를 대상으로 그래프 기반 Domain-IL 이식성 사례 연구를 포함하며, 여기서는 스캐폴드 도메인 세분성이 입력 분포를 변화시키는 동안 예측 태스크는 고정된 채로 유지된다. 실험 결과, 방법의 동작이 쉬운 설정과 이질적인 설정에 걸쳐 변화하며, 평균 정확도가 하위 클라이언트의 낮은 성능을 은폐할 수 있고, 태스크 순서 불일치가 동기화된 평가와는 다른 전략을 선호하며, 동일한 HERO 인터페이스가 이미지 기반 FCIL을 넘어 도메인 이동 난이도를 노출할 수 있음을 보인다. HERO는 재현 가능하고 설정 인식적인 FCL 평가를 지원하기 위해 벤치마크 스트림, 구성, 방법 구현, 보고 스크립트를 공개한다.
데이터 효율적 심층 학습: 관성 센서 분류에서 학습 세트 크기 추정을 위한 경험적 지침
Data-Efficient Deep Learning: Empirical Guidelines for Training Set Size Estimation in Inertial Sensor Classification
심층 학습 모델의 대규모 관성 데이터셋 의존성은 인간 활동 인식(human activity recognition) 및 스마트폰 위치 인식(smartphone location recognition)과 같은 관성 센서 기반 분류 작업에서 심각한 병목 현상을 초래한다. 이러한 도메인에서 데이터 수집은 복잡하고 시간이 많이 소요되며 확장이 어려운 대규모 녹화 캠페인을 필요로 한다. 현재, 원하는 정확도 수준에 도달하는 데 필요한 최소 샘플 크기를 결정하기 위한 데이터 기반 지침은 존재하지 않는다. 이 격차를 해소하기 위해, 본 연구는 관성 분류에서 학습 곡선(learning curve) 수렴 속도에 대한 체계적인 경험적 평가를 제시한다. 이진 및 다중 클래스 시나리오 모두에서 분류 성능을 분석하는 통합 프레임워크를 소개하고, 데이터셋 크기에 따른 성능을 추정하는 경험적 공식을 도출한다. 총 102.7시간의 관성 측정값으로 구성된 6개의 다양한 실세계 데이터셋에 대한 테스트 결과, 작업 복잡도에 관계없이 정확도가 일관된 로그 성장 패턴을 따르는 것으로 나타났다. 이 발견을 활용하여, 학습 곡선이 점근적 최대값의 사전 정의된 평균 절대 백분율 편차(mean absolute percentage deviation) 이내로 안정화되는 데 필요한 샘플 크기로 정의되는 정량적 안정점(stability point) 지표를 제안한다. 분석 결과, 모델은 전통적인 경험 법칙이 제시하는 것보다 훨씬 적은 샘플로 실용적 안정성에 도달하는 경우가 많음이 밝혀졌다. 궁극적으로, 소규모 파일럿 연구에서 전체 데이터 요구량을 외삽하는 일반화 가능한 프레임워크를 제공하여, 녹화 노력과 모델 신뢰성 간의 트레이드오프를 최적화한다. 이러한 발견들은 지배적인 패러다임을 데이터 볼륨 최대화에서 데이터 효율성 최적화로 전환시키며, 관성 센싱 애플리케이션에서 녹화 캠페인 계획을 위한 구체적이고 데이터 기반의 지침을 제공한다.
벽 투과 레이더 인체 행동 인식을 위한 일반화 이론
Generalization Theory for Through-the-Wall Radar Human Activity Recognition
벽 투과 레이더(TWR) 인체 행동 인식(HAR)은 가시선 비확보(non-line-of-sight) 실내 감지, 보안 모니터링, 긴급 구조에 있어 중요하다. 그러나 개인 변이, 관측 시점 변이, 벽 조건 변이로 인한 구조적 분포 이동(distribution shift)은 인식 일반화를 심각하게 저하시키며, 목표 도메인 오류의 근원에 대한 엄밀한 이론적 설명이 여전히 부재하다. 이 문제를 해결하기 위해, 본 논문에서는 TWR HAR을 위한 일반화 분석 프레임워크를 제안한다. 먼저, 실내 인체 운동학, TWR 에코 생성, 레이더 이미지 형성, 특징(feature) 표현, 유계 가중치(bounded-weight) 신경망에 대한 모델을 통합된 소스-대-타겟 학습 공식화 내에서 수립한다. 이후 소스 위험도(source risk), 타겟 위험도(target risk), 경험적 위험도(empirical risk), 허용 가능한 물리적 도메인 디스크립터(admissible physical domain descriptor)를 정의하고, 통합된 목표 도메인 일반화 경계(generalization bound)를 도출한다. 다음으로, 구조적 이동 항을 교차 개인(cross-person), 교차 시점(cross-view), 교차 벽(cross-wall) 성분으로 분해하고, 물리적 저차원 표현, 다중 소스 학습, 매개변수(parameter) 공간 커버리지의 경계 조임(bound-tightening) 효과를 분석한다. 시뮬레이션 및 실측 실험을 통해 도출된 이론적 분석을 공동으로 검증하고 그 응용 가치를 제시한다.
Mukhtasir-Khail-Net: An Ultra-Efficient Convolutional Neural Network for Sports Activity Recognition with Wearable Inertial Sensors
토론
이 논문과 연결된 포럼 글이 아직 없습니다.