arXiv:2212.03080

Straggler-Resilient Differentially-Private Decentralized Learning

Yauhen Yakimenka, Chung-Wei Weng, Hsuan-Yin Lin, Eirik Rosnes, Jörg Kliewer

제출 2022-12-06

원문 초록

We consider the straggler problem in decentralized learning over a logical ring while preserving user data privacy. Especially, we extend the recently proposed framework of differential privacy (DP) amplification by decentralization by Cyffers and Bellet to include overall training latency--comprising both computation and communication latency. Analytical results on both the convergence speed and the DP level are derived for both a skipping scheme (which ignores the stragglers after a timeout) and a baseline scheme that waits for each node to finish before the training continues. A trade-off between overall training latency, accuracy, and privacy, parameterized by the timeout of the skipping scheme, is identified and empirically validated for logistic regression on a real-world dataset and for image classification using the MNIST and CIFAR-10 datasets.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.24453v1cs.AI공통 태그 regression, image-classification

식사 이미지, 임상 변수, 장내 미생물군 정보를 이용한 식후 혈당 반응 예측

Predicting Postprandial Glycemic Response from Meal Images, Clinical Variables, and Gut Microbiome Information

식후 혈당 반응(postprandial glycemic response, PPGR) 예측은 맞춤형 영양과 2형 당뇨 관리의 기본이지만, 기존 접근법은 대개 수동으로 보고된 식이 섭취에 의존하여 일상 생활 환경에서의 확장성을 제한한다. 본 연구는 수동 식이 기록을 이미지 기반 대사영양소 추정으로 대체하고, 이를 임상 변수 및 장내 미생물군 정보와 통합하여 맞춤형 PPGR 예측을 수행하는 멀티모달 프레임워크를 제안한다. 이 프레임워크는 이미지 기반 대사영양소 추정과 혈당 예측을 공동으로 수행하며, 어텐션 기반 예측 모듈이 식이 정보와 숙주 특이적 정보 간 상호작용을 모델링한다. 제안 방법을 식사 이미지, 연속 혈당 모니터링, 임상 변수, 장내 미생물군 프로필을 포함하는 실세계 데이터셋에서 평가하였다. 제안 모델은 이미지 기반 영양 입력을 사용하는 기존 PPGR 베이스라인을 능가하며, 자동 추정 영양 정보를 사용함에도 수동 보고 대사영양소에 의존하는 방법의 성능에 근접하였다. 이러한 결과는 이미지 기반 영양 정보와 보완적인 임상 및 장내 미생물군 정보를 결합하는 것이 확장 가능한 맞춤형 PPGR 예측을 위한 실용적 토대를 제공함을 보여준다.

arXiv:2609.23139v1cs.CV공통 태그 regression, Image Classification

QwenVLConnector: 세밀한 임상 지각과 텍스트 생성을 위한 빠르고 통합된 의료 VLM 챗봇

QwenVLConnector: A Fast, Unified Medical VLM Chatbot for Fine-Grained Clinical Perception and Text Generation

대부분의 의료 비전-언어 모델(VLM)은 개방형 보고서 생성과 VQA에는 뛰어나지만, 통합된 인터페이스 안에서 구조화된 세밀한 임상 지각을 지원하는 데는 한계가 있다. 본 논문은 QwenVLConnector를 제안한다. 이는 Qwen2.5-VL 기반 의료 챗봇으로, 분류, 다중 레이블 분류, 텍스트화된 검출, 계수, 회귀, 자유 형식 보고서 생성을 단일 next-token 목표 아래 하나로 통합한다. 핵심 구성요소는 경량의 밀집 다층 Connector로, 저수준·고수준 시각 특징을 집계하고 사전학습된 vision Merger를 통해 정렬한 뒤, 시퀀스 길이를 늘리지 않고 최종 시각 표현과 융합한다. 이 설계는 효율성을 유지하면서 시각 토큰을 상보적인 공간·의미 단서로 풍부하게 한다. FLARE-2D에서 QwenVLConnector는 검출 F1을 0.55에서 0.85로 개선하고, 단일 레이블 분류를 0.37에서 0.51로 높이며, Qwen2.5-VL 기준선 대비 보고서 생성 GREEN을 최대 18.3점 향상시킨다. 또한 보고서 생성을 위한 멀티모달 문맥 내 학습(ICL)을 탐구하여, 모델 매개변수를 갱신하지 않고도 추가 개선을 보였다. 전반적으로 QwenVLConnector는 구조화된 의료 지각과 개방형 임상 텍스트 생성을 결합하는 통합적이고 효율적인 프레임워크를 제공한다. 코드는 https://github.com/plnguyen2908/QwenConnector 에서 확인할 수 있다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.