arXiv:2005.10406

Training Keyword Spotting Models on Non-IID Data with Federated Learning

Andrew Hard, Kurt Partridge, Cameron Nguyen, Niranjan Subrahmanya, Aishanee Shah, Pai Zhu, Ignacio Lopez Moreno, Rajiv Mathews

제출 2020-05-21

원문 초록

We demonstrate that a production-quality keyword-spotting model can be trained on-device using federated learning and achieve comparable false accept and false reject rates to a centrally-trained model. To overcome the algorithmic constraints associated with fitting on-device data (which are inherently non-independent and identically distributed), we conduct thorough empirical studies of optimization algorithms and hyperparameter configurations using large-scale federated simulations. To overcome resource constraints, we replace memory intensive MTR data augmentation with SpecAugment, which reduces the false reject rate by 56%. Finally, to label examples (given the zero visibility into on-device data), we explore teacher-student training.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.02632v1cs.LG공통 태그 Data Augmentation, Federated Learning

QuantFlow: 시계열 예측을 위한 연합학습 기반 Mamba 포스트-트랜스포머 파운데이션 모델

QuantFlow: A Federated Mamba-Based Post-Transformer Foundation Model for Time-Series Forecasting

시계열 예측은 금융, 에너지, 교통, 공중 보건, 산업 모니터링 분야의 의사결정을 지원한다. 최근 파운데이션 모델들은 예측 태스크 간 전이 성능을 향상시키고 있으나, 많은 모델이 중앙집중식 데이터와 트랜스포머 어텐션에 의존하여 장기적이고 고차원적이며 프라이버시에 민감한 신호에 대한 활용이 제한된다. 본 논문에서는 역전된 시퀀스 임베딩, 양방향 Mamba 상태공간 디코더, 분위수 회귀, 연합학습(federated learning)을 결합한 확률적 예측 프레임워크인 QuantFlow를 제안한다. 각 변수는 전체 관측 윈도우에 걸쳐 임베딩되고, 순방향 및 역방향으로 처리된 후 5개의 조건부 분위수로 투영된다. TSMixup은 시퀀스 구조를 보존하면서 디리클레 가중 보간을 통해 시간적 다양성을 확장한다. 실험은 암호화폐, 교통, 전력, ETT(Electricity Transformer Temperature), 인플루엔자, 기상 데이터를 대상으로 수행되었다. QuantFlow는 ETTm1에서 0.2834, Weather에서 0.2218의 평균 제곱 오차를 달성하였으며, 20개 클라이언트의 non-IID 환경 배포에서 원본 데이터를 중앙화하지 않고 3회의 통신 라운드 이후에도 유용한 정확도를 유지하였다. 실험 결과는 선택적 상태공간 모델링(selective state-space modelling)이 확장 가능하고 불확실성을 인지하며 프라이버시를 고려한 시계열 예측의 유망한 기반임을 시사하는 동시에, 불규칙한 역학 데이터 신호 및 장기 지평선 일반화에 대한 한계도 드러낸다.

arXiv:2607.07888v2cs.LG공통 태그 Federated Learning

OLS 회귀를 위한 데이터 분할에 대한 분산 스케칭

Distributed Sketching on Data Partitions for OLS Regression

본 논문은 분산 스케치에 기반한 최소제곱(OLS) 회귀의 확장 가능한 접근법을 연구한다. 대규모 데이터 집합의 작은 스케치를 여러 워커에 분산하고, 각 워커가 자신의 스케치로부터 로컬 OLS 추정량을 구성하며, 로컬 추정량들을 평균하여 전역 추정량을 얻는다. 기존 연구는 각 스케치가 전체 데이터로부터 생성된다고 가정하지만, 이 스케치 단계는 계산 비용이 높아 때로는 표준 OLS보다 더 높다. 이에 우리는 데이터를 분할한 부분집합으로부터 각 스케치를 생성할 것을 제안하며, 이로써 워커 수가 늘어날수록 스케치 비용이 감소한다. 고정 설계 설정에서 전역 추정량의 정확한 초과 손실을 규명한다. 이 손실은 기존 연구에서 확립된 손실보다 크지만, 부분집합 공분산 간의 평균 Burg 발산이 작을 때는 그에 가깝게 유지된다. 제안한 분할 설계에서는 워커가 많을수록 발산이 커지는 경향이 있으므로, 이는 추정량의 계산 효율성과 통계적 효율성 사이의 상충 관계를 드러낸다.

arXiv:2607.20790v2cs.CV공통 태그 Data Augmentation

가상현실을 위한 안구 검증

Ocular Verification for Virtual Reality

가상현실(VR) 헤드셋(예: Meta Quest, Apple Vision Pro)은 시뮬레이션 환경에서 물리 세계와 빠르고 마찰 없는 상호작용을 제공하여 매끄러운 사용자 경험을 제공한다. 이러한 헤드셋에서 사용자 인증은 홍채와 같은 생체 단서에 의존한다. 그러나 기존의 홍채 인식 프로토콜은 VR 기반 데이터의 전형적 특성인 비제약 환경 획득의 경우에는 충분하지 않을 수 있다. 본 연구에서는 세 가지 핵심 측면을 검토한다. (1) VRBiom 데이터셋에서 ISO/IEC 29794-6 홍채 품질 지표를 평가하고 그 한계를 분석하며, (2) 생성 모델을 사용하여 축 이탈 시선, 불균일 조명, 정반사와 같은 데이터 특유의 문제를 해결하고, (3) 단일 모달(홍채, 눈 주위) 인식과 다중 모달 점수 수준 융합(홍채 + 눈 주위)을 수행한다. 일부 지표(예: 마진 적절성)는 VR로 획득한 데이터에서 실패하는 반면, 이미지 보정은 주로 눈 주위 인식에 도움이 되며, 다중 모달 융합은 단일 모달 홍채 인식 성능 대비 EER을 약 11% 낮춘다는 것을 관찰하였다. 재현성을 위해 논문 채택 시 평가 스크립트를 공개할 예정이다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.