arXiv:2312.15966

Federated Hyperdimensional Computing

Kazim Ergun, Rishikanth Chandrasekaran, Tajana Rosing

제출 2023-12-26

원문 초록

Federated learning (FL) enables a loose set of participating clients to collaboratively learn a global model via coordination by a central server and with no need for data sharing. Existing FL approaches that rely on complex algorithms with massive models, such as deep neural networks (DNNs), suffer from computation and communication bottlenecks. In this paper, we first propose FedHDC, a federated learning framework based on hyperdimensional computing (HDC). FedHDC allows for fast and light-weight local training on clients, provides robust learning, and has smaller model communication overhead compared to learning with DNNs. However, current HDC algorithms get poor accuracy when classifying larger & more complex images, such as CIFAR10. To address this issue, we design FHDnn, which complements FedHDC with a self-supervised contrastive learning feature extractor. We avoid the transmission of the DNN and instead train only the HDC learner in a federated manner, which accelerates learning, reduces transmission cost, and utilizes the robustness of HDC to tackle network errors. We present a formal analysis of the algorithm and derive its convergence rate both theoretically, and show experimentally that FHDnn converges 3$\times$ faster vs. DNNs. The strategies we propose to improve the communication efficiency enable our design to reduce communication costs by 66$\times$ vs. DNNs, local client compute and energy consumption by ~1.5 - 6$\times$, while being highly robust to network errors. Finally, our proposed strategies for improving the communication efficiency have up to 32$\times$ lower communication costs with good accuracy.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.09695v1cs.LG공통 태그 Federated Learning, Contrastive Learning

FedCausal-Dyn: 동적 특징 드리프트 하의 연합학습을 위한 인과-동적 패러다임

FedCausal-Dyn: A Causal-Dynamic Paradigm for Federated Learning under Dynamic Feature Drift

본 논문은 연합학습(federated learning)에서 동적 특징(feature) 드리프트(drift)라는 난제를 다룬다. 이는 데이터 분포가 클라이언트 간, 그리고 시간에 걸쳐 변화하는 현상으로, 금융 기술과 같은 실세계 응용에서 흔히 발생한다. 기존 접근법들은 정적 드리프트를 가정하는 경우가 많아 비정상(non-stationary) 환경에서의 효과가 제한적이다. 이를 극복하기 위해 우리는 인과-동적 패러다임에 기반한 새로운 연합학습 프레임워크 FedCausal-Dyn을 제안한다. 핵심 혁신은 인과-도메인 특징 분리(causal-domain feature separation)로, 전문화된 프로젝션 헤드와 적대적 학습(adversarial training)을 통해 도메인 불변 인과 특징을 허위적(spurious)이고 도메인 특화적인 변동으로부터 분리한다. 이를 통해 신뢰성 있는 동적 프로토타입 집계(reliable and dynamic prototype aggregation)가 가능해지며, 전역 집계 전에 추정된 신뢰도에 따라 로컬 클래스 프로토타입에 가중치를 부여한다. 나아가 인과-특징 기반 협력적 정규화(causal-feature guided collaborative regularization)를 도입하여 프로토타입 대조 정렬(prototype contrastive alignment)과 도메인 불변성을 하나의 통합 목적 함수로 결합한다. 세 가지 연합 도메인 일반화 벤치마크에 대한 광범위한 실험을 통해 FedCausal-Dyn이 일관되게 최고 수준의 성능을 달성하며, 가장 높은 평균 정확도와 가장 안정적인 결과를 보임을 입증한다. 절제 연구(ablation study)를 통해 각 구성 요소의 핵심적인 기여가 확인된다. 본 연구는 동적 특징 드리프트 하의 연합학습에 대한 견고하고 원칙적인 해결책을 제시한다.

arXiv:2607.11886v2cs.CV공통 태그 Contrastive Learning

Read It Back: 사전학습된 MLLM은 텍스트-이미지 생성을 위한 제로샷 보상 모델이다

Read It Back: Pretrained MLLMs Are Zero-Shot Reward Models for Text-to-Image Generation

본 논문에서 우리는 SpectraReward를 제안한다. SpectraReward는 사전학습된 다중모달 대규모 언어 모델(MLLM)을 이미지 생성 강화학습을 위한 즉시 사용 가능한 보상 모델로 전환하는 추가 학습이 불필요한 보상 함수이다. SpectraReward는 MLLM에게 생성된 이미지를 판단하거나 분해된 검증 질문에 답하도록 요청하는 대신, 단일 이미지 조건부 교사 강제(teacher-forced) 순전파를 통해 원본 프롬프트가 생성된 이미지로부터 얼마나 잘 복원될 수 있는지를 측정한다. 이미지 조건부 프롬프트 로그-가능도의 평균을 보상으로 사용함으로써, 선호도 레이블이나 보상 모델 미세조정 없이 MLLM의 사전학습된 이미지-텍스트 정렬 능력을 직접 재활용한다. 나아가 우리는 Self-SpectraReward를 소개한다. Self-SpectraReward는 통합 다중모달 모델을 위한 특수 사례로, 정책 자체의 이해 브랜치가 생성 브랜치를 위한 보상 모델로 기능하여 외부 보상 모델이나 외부 지식 없이 폐쇄 루프 자기 개선 프레임워크를 형성한다. 광범위한 실험을 통해 SpectraReward를 검증하였으며, 이 연구는 두 가지 확산 모델, 세 가지 강화학습 알고리즘, 4B에서 235B 파라미터에 걸친 네 가지 MLLM 계열의 아홉 가지 보상 MLLM 백본, 다섯 가지 분포 외(out-of-distribution) 텍스트-이미지 벤치마크를 포괄한다. 실험 결과, SpectraReward와 Self-SpectraReward 모두 생성 성능을 유의미하고 일관되게 향상시키며 기존 MLLM 기반 보상 학습 방법을 능가하였다. 추가 분석에 따르면 더 큰 보상 MLLM이 항상 더 우수한 것은 아니며, Self-SpectraReward는 훨씬 더 큰 외부 보상 모델과 동등하거나 이를 능가할 수 있어, 보상-정책 정렬(reward-policy alignment)이 효과적인 이미지 생성 강화학습의 핵심 요인임을 시사한다. 프로젝트 페이지: https://huangrh99.github.io/SpectraReward/

arXiv:2607.13498v2cs.LG공통 태그 Contrastive Learning

강화학습을 위한 인수분해 스펙트럴 표현

Factorized Spectral Representations for Reinforcement Learning

상호작용 데이터로부터 세계의 간결한 모델을 학습하는 것은 샘플 효율적인 심층 강화학습의 핵심이다. 스펙트럴 표현 방법은 전이 커널을 행렬 관점으로 바라보고, 한쪽에는 상태-행동 쌍을, 다른 쪽에는 다음 상태를 두며, 자기지도 대조 목표를 통해 저랭크 인수분해를 학습함으로써 연속 제어에서의 표현 학습을 위한 주도적 패러다임이 되었다. 우리는 이 관점을 한 단계 더 나아간다. 전이 커널은 상태, 행동, 다음 상태에 걸친 자연스러운 3-모드 텐서이며, CP 분해는 모드마다 하나의 특징 맵을 제공한다. 우리는 노이즈 대조 목표로 이 분해를 적합시키는 FaStR을 제안하며, 이는 상태, 행동, 다음 상태에 대한 별도의 인코더를 생성하고 이들이 함께 단일 스펙트럴 표현을 구성한다. 인수분해 형태는 더 작은 가설 클래스를 만들며, 표현 학습에 필요한 샘플 크기는 상태 차원과 행동 차원 중 더 작은 값에 비례하는 계수만큼 줄어든다. 실험적으로 FaStR은 역학이 인수분해 구조와 일치하는 고차원 이동(locomotion) 과제에서 가장 큰 이득을 보이며, 학습된 상태 인코더는 액추에이터 변화(actuator shift)에 걸쳐 그대로 전이되고 오직 행동 인코더만 재학습된다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.