PAL: Intelligence Augmentation using Egocentric Visual Context Detection
원문 초록
Egocentric visual context detection can support intelligence augmentation applications. We created a wearable system, called PAL, for wearable, personalized, and privacy-preserving egocentric visual context detection. PAL has a wearable device with a camera, heart-rate sensor, on-device deep learning, and audio input/output. PAL also has a mobile/web application for personalized context labeling. We used on-device deep learning models for generic object and face detection, low-shot custom face and context recognition (e.g., activities like brushing teeth), and custom context clustering (e.g., indoor locations). The models had over 80\% accuracy in in-the-wild contexts (~1000 images) and we tested PAL for intelligence augmentation applications like behavior change. We have made PAL is open-source to further support intelligence augmentation using personalized and privacy-preserving egocentric visual contexts.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
베이지안 혼합을 위한 변분 합의 몬테카를로
Variational Consensus Monte Carlo for Bayesian Mixture
건강 데이터의 프라이버시, 민감도 및 공유 제한에 동기를 얻어, 데이터가 컴퓨팅 노드 간에 완전히 공유되거나 통합될 수 없는 연합 학습(federated learning) 설정 내에서 베이지안 혼합 모델의 추론(inference)을 위한 포괄적인 파이프라인을 제시합니다. 우리는 합의 몬테카를로(Consensus Monte Carlo, CMC) 접근 방식을 채택하며, 여기서 MCMC 알고리즘은 각 데이터 사일로 내에서 독립적으로 실행되어 국소 사후 분포를 추정하고, 이를 집계하여 전체 데이터에 대한 사후 분포를 근사화합니다. Rabinovich, Angelino 및 Jordan (2015) [1]의 변분 CMC 접근 방식은 집계 단계를 변분 추론(variational inference) 문제로 프레임화하지만, 혼합 모델에 대한 그들의 적용은 클러스터 수와 주요 혼합 파라미터가 알려져 있다고 가정합니다. 우리의 주요 방법론적 기여는 다음과 같습니다: (i) 켤레성(conjugacy)을 요구하지 않고 클러스터 수와 모든 모델 파라미터를 추론하는 과적합 베이지안 혼합 모델로의 변분 CMC 확장; (ii) 모든 클러스터가 각 국소 데이터셋(dataset)에 나타나지 않는 사일로 간 설정에 적합한 새로운 클러스터 매칭 알고리즘; (iii) 다양한 연합 학습 제약 조건에 맞춰진 집계 단계를 위한 여러 추론 전략; (iv) 실제로 이들 중에서 선택하기 위한 가이드라인입니다. 포괄적인 시뮬레이션 연구는 이 프레임워크를 검증하고 최첨단 연합 학습 대안들과 비교할 수 있게 합니다. 특히, 국소 데이터셋의 구성이 데이터 내의 기본 클러스터링 구조를 반영할 때, 우리의 접근 방식은 통합 데이터에 적용된 표준 MCMC보다 더 큰 정확도로 작은 클러스터를 복구할 수 있음을 보여줍니다. 우리는 대규모 전자 건강 기록 데이터에 이 프레임워크를 적용하여 영국 노년 인구의 다중 동반 질환 패턴을 식별합니다.
C2FL: 공간 및 시간 드리프트 하의 클러스터링 연속 연합 학습
C2FL: Clustered Continual Federated Learning under Spatial and Temporal Drift
집합 적응 시스템(Collective Adaptive Systems, CAS)은 점점 더 기계 학습에 의존하여 각 노드가 로컬에서 감지한 데이터로부터 학습하고, 주변 환경에 맞게 동작을 정렬하게 한다. 그러나 이러한 지능을 확장하는 것은 근본적인 과제를 제기한다. 감지 데이터는 종종 프라이버시에 민감하여 중앙 집중식 수집을 막고, 노드는 이동성을 가지며 근처 노드는 유사한 현상을 인지하는 반면 먼 노드는 극적으로 다른 조건을 관찰하여 자연스러운 공간 클러스터를 형성하며, 이러한 분포는 이동성으로 인해 시간에 따라 진화하여 시간적 드리프트(temporal drift)를 도입하고 로컬 모델을 점진적으로 구식화시킨다. 이러한 역학은 차량 센싱, 드론 기반 모니터링, 스마트폰 크라우드센싱 등 여러 도메인에서 나타나지만, 프라이버시, 공간 이질성(spatial heterogeneity), 시간적 드리프트의 상호작용은 기존 학습 전략을 심각하게 약화시킨다. 따라서 우리는 C2FL을 제안한다. 이는 노드가 공간 클러스터링을 통해 학습 그룹으로 자기 조직화하는 완전 분산형 연합 학습(Federated Learning, FL) 접근법으로, 환경의 지리적 구조를 반영한다. 시간적 드리프트를 상쇄하기 위해 각 노드는 경험 재생(experience replay)과 체류 시간 인식(dwell-time-aware) 적응형 평균화 단계를 결합하여, 동일한 영역 내에 더 오래 머무는 동안 점진적으로 지역적 합의(regional consensus)를 통합하면서 진화하는 분포 하에서 이전에 습득한 지식을 보존한다. 공간 및 시간적 변화를 체계적으로 재현하는 합성 실험에서 접근법을 평가한 결과, 표준 연합 학습 전략이 이러한 조건에서 크게 저하되고 우리 방법이 견고한 집합 적응을 회복함을 보여준다.
Privacy-Preserving Approach PBCN in Social Network With Differential Privacy
Tri-Learn Graph Fusion Network for Attributed Graph Clustering
Differentially Private Federated Low Rank Adaptation Beyond Fixed-Matrix
Domain Borders Are There to Be Crossed With Federated Few-Shot Adaptation
토론
이 논문과 연결된 포럼 글이 아직 없습니다.