arXiv:2203.12281

Efficient Fully Distributed Federated Learning with Adaptive Local Links

Evangelos Georgatos, Christos Mavrokefalidis, Kostas Berberidis

제출 2022-03-23

원문 초록

Nowadays, data-driven, machine and deep learning approaches have provided unprecedented performance in various complex tasks, including image classification and object detection, and in a variety of application areas, like autonomous vehicles, medical imaging and wireless communications. Traditionally, such approaches have been deployed, along with the involved datasets, on standalone devices. Recently, a shift has been observed towards the so-called Edge Machine Learning, in which centralized architectures are adopted that allow multiple devices with local computational and storage resources to collaborate with the assistance of a centralized server. The well-known federated learning approach is able to utilize such architectures by allowing the exchange of only parameters with the server, while keeping the datasets private to each contributing device. In this work, we propose a fully distributed, diffusion-based learning algorithm that does not require a central server and propose an adaptive combination rule for the cooperation of the devices. By adopting a classification task on the MNIST dataset, the efficacy of the proposed algorithm over corresponding counterparts is demonstrated via the reduction of the number of collaboration rounds required to achieve an acceptable accuracy level in non- IID dataset scenarios.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.00294v2cs.CV공통 태그 Object Detection, Image Classification

LENS-GRF: 여드름 중증도 등급 분류 및 다중 평가자 임상 오라클 분석을 위한 게이트 잔차 융합 기반 순열 불변 병변 근거 네트워크

LENS-GRF: Permutation-Invariant Lesion Evidence Network with Gated Residual Fusion for Acne Severity Grading and Multi-Rater Clinical Oracle Analysis

국소 병변 증거는 자동 여드름 중증도 등급 판정을 개선할 수 있으나, 검출기 오류와 임상 등급 기준의 차이가 일반화를 제한할 수 있다. 우리는 전역 Vision Transformer와 YOLO11s 제안에서 얻은 병변 영역 임베딩을 결합하는, 순열 불변 집계와 게이트 잔차 융합을 갖춘 병변 증거 네트워크인 LENS-GRF를 평가하였다. 완전 자동 4-클래스 등급 판정은 ACNE04의 보류 이미지 292장에서 평가하였고, 외부 적응 없이 600개 안면 뷰로 표현되는 PLSBRACNE01 참여자 200명에서도 평가하였다. 주석 보조 추론은 148명의 일치된 부분집합에서 피부과 전문의 3인의 정합된 병변 상자를 사용하였다. 성능 지표로는 정확도, 매크로 평균 정밀도, 민감도, 일대다 특이도를 사용하였다. 쌍체 비교에는 Holm 보정을 적용한 정확 McNemar 검정을 사용하였다. ACNE04에서 자동 LENS-GRF는 정확도 80.82%, 매크로 정밀도 78.80%, 민감도 78.92%, 특이도 92.78%를 달성하였다. 병변 상자를 제공한 경우 내부 정확도는 세 시드 평균 95.89%였다. 전체 외부 코호트에서 자동 LENS-GRF의 정확도는 35.00%로, 독립적으로 학습한 전역 기준선의 42.50%보다 낮았다. LENS-GRF의 외부 매크로 정밀도, 민감도, 특이도는 각각 50.52%, 34.31%, 78.19%였다. 일치된 부분집합에서 의사 A의 병변 주석을 사용한 정확도는 47.97%로, 자동 추론의 35.14%와 비교되었다(비보정 $p = 0.0094$; Holm 보정 $p = 0.0846$). 병변 주석을 제공했을 때의 우수한 내부 성능은 외부 코호트에서의 신뢰할 만한 자동 등급 판정으로 이어지지 않았다. 임상 사용 전에는 더 신뢰할 수 있는 병변 검출, 등급 기준 차이를 고려한 모델링, 독립적 검증이 필요하다.

arXiv:2610.13697v1cs.CV공통 태그 Object Detection, Image Classification

생성적 증강을 통한 AI 테스트 및 평가(T&E)의 의미적 커버리지 개선

Improving Semantic Coverage in AI Test & Evaluation through Generative Augmentation

AI 모델의 테스트 및 평가(T&E)에서 평가자는 일반적으로 홀드아웃(held-out) 테스트 데이터셋에만 접근할 수 있으며, 학습 데이터나 그 의미적 구성에 대한 정보는 알지 못한다. 시간대, 날씨, 장면 위치와 같은 핵심 입력 조건이 이 테스트 데이터셋에서 충분히 표현되지 않으면, 이러한 의미적 커버리지 격차로 인해 T&E 결과가 오도될 수 있다. 우리는 이러한 의미적 요인에 대한 정답 레이블 없이도 이를 탐지하고 채울 수 있는 3단계 생성형 AI 파이프라인을 제안한다. 첫 번째 단계에서는 비전-언어 모델(VLM)이 의미적 요인에 대해 제로샷 이진 레이블링을 수행하고, 임베딩 공간 클러스터링 단계를 통해 어떤 의미적 요인이 하위(downstream) 모델 동작에 가장 큰 영향을 미치는지 식별한다. 두 번째 단계에서는 디퓨전 기반 이미지-투-이미지(image-to-image) 모델이 기존에 충분히 표현된 이미지를 과소 표현된 의미 도메인으로 변환하여, 장면 내용은 보존하면서 고수준의 외형(appearance)만을 증강한다. 세 번째 단계에서는 증강된 이미지 임베딩에 대한 통계적 분석을 통해, 합성 이미지를 반영하기 전에 그것이 데이터셋 커버리지를 개선하는지 검증한다. 중요한 점은, 합성 데이터는 오직 테스트 세트를 보강하는 데에만 사용되며 T&E를 위한 모델 재학습은 수행하지 않는다는 것이다. 우리는 주간/야간 의미 격차 상황에서 이미지 분류와 객체 검출 양쪽에 대해 전체 파이프라인을 검증하였으며, 증강된 테스트 데이터셋이 누락된 의미적 요인에 노출된 모델과 그렇지 않은 모델을 더 잘 구별해내어, 완전히 커버리지를 갖춘 이상적인 데이터셋의 결론에 더 가까운 T&E 결론을 산출함을 보였다. 코드는 https://github.com/Hashe037/DEDUCE 에서 확인할 수 있다.

arXiv:2610.10613v1cs.LG공통 태그 Autonomous Vehicles, Federated Learning

이상 탐지를 위한 연합 경량 헤드 기반 시계열 트랜스포머 CAN 인코더

Temporal transformer CAN encoder with federated lightweight heads for anomaly detection

현대 차량은 CAN(Controller Area Network) 버스를 통해 지속적으로 정보를 교환하는 수많은 전자제어장치(ECU)에 의존합니다. 이러한 통신의 신속성, 구조, 반복성으로 인해 타이밍, 페이로드 값, 메시지 패턴의 미세한 변화조차도 비정상적인 활동을 나타낼 수 있습니다. 오류, 오작동, 의도적인 간섭 등 원인에 관계없이 이러한 이상 현상은 매우 미묘하여, 메시지를 개별적으로 처리하거나 수작업으로 생성된 규칙에 의존하는 기존 방식으로는 식별하기 어렵습니다. 이러한 한계점을 해결하기 위해, 본 논문에서는 이러한 불규칙성을 더 효과적으로 포착할 수 있도록 연합 경량 헤드를 갖춘 시계열 트랜스포머 CAN 인코더 기반의 차량 내 네트워크 이상 탐지용 프라이버시 보존 프레임워크를 제안합니다. 이 신호들이 시간에 따라 어떻게 변화하는지 학습하는 경량 트랜스포머 인코더를 통해 미묘한 시계열 및 문맥적 이상 현상의 탐지가 가능해지며, 연합학습(federated learning) 메커니즘을 통해 여러 차량이나 ECU가 원시 CAN 데이터를 교환하지 않고도 협력하여 공유 모델을 개선할 수 있습니다. 오픈소스 데이터셋을 대상으로 수행한 실험에 따르면, 이러한 연합학습과 시계열 시퀀스 모델링의 결합은 효율성과 프라이버시를 유지하면서도 견고한 이상 탐지 성능을 제공합니다.

arXiv:2610.02421v1cs.CV공통 태그 Object Detection, Image Classification

저배율 두피 이미지 기반 안드로겐성 탈모증 평가를 위한 AI 기반 다단계 접근법

An AI-Based Multi-Stage Approach for Androgenetic Alopecia Assessment from Low-Magnification Scalp Images

안드로겐성 탈모증(AGA)은 패턴화된 모낭 소형화, 단일 모발 모낭군(FU) 증가, 모간 직경 변화를 특징으로 합니다. 본 연구에서는 모낭군 위치 추정, 서열형 가시 모간 수 계수, 캘리브레이션된 모간 너비 추정, 부위별 집계, 해석 가능한 규칙 층(layer)을 결합한 자동화된 정량적 두피 분석 및 임상 의사결정 지원 프레임워크를 제시합니다. 임상 코호트는 243명의 환자(AGA 127명, 비AGA 116명)로 구성되었으며, 컴퓨터 비전(CV) 실험에는 전문가가 주석을 추가한 160명의 환자, 2,400장의 모발경 검사 이미지, 약 158,000개의 모낭군 주석이 활용되었습니다. 환자 비중복 평가에서 YOLOv8m은 테스트 [email omitted]=0.920 및 재현율(recall)=0.860을 달성하였고, 서포트 맵 채널을 갖춘 EfficientNet-B5는 전문가 바운딩 박스 기준 87.0%의 계수 정확도(매크로 F1=0.85)를 달성했습니다. 별도의 500개 이미지 세트에 대해 검출기가 생성한 박스를 기반으로 엔드투엔드 처리를 수행한 결과, 인간 전문가 주석 대비 모낭 검출 MAE 6.56, 모낭 분류(classification) MAE 16.59를 기록했습니다. 본 시스템은 피부과 전문의의 판독을 대체하기보다 보조하도록 고안되었습니다.

arXiv:2610.03218v1cs.CV공통 태그 Object Detection, Image Classification

VisionMX: 비전 모델을 위한 마이크로스케일링 사후 학습 양자화 구현

VisionMX: Unlocking Microscaling Post-Training Quantization for Vision Models

마이크로스케일링(Microscaling, MX) 포맷은 효율적인 학습(training) 및 추론(inference)을 위한 하드웨어 지원 접근법으로 주목받고 있습니다. 이 방식은 저정밀도(low-precision) 요소와 공유 블록 스케일을 결합하지만, 비전 모델에 미치는 영향은 아직 충분히 연구되지 않았습니다. 본 연구에서는 다양한 비전 모델 및 작업 전반에 걸쳐 사후 학습(post-training) MX 양자화(quantization)를 체계적으로 조사합니다. 직접 변환에 대한 분석을 통해 세 가지 오차 원인을 확인했습니다. 즉, 블록 스케일 표현, 일부 소형 합성곱 가중치(weight) 텐서와 비균일 요소 그리드 간의 불량한 정렬, 그리고 비음수 활성화 값에 의한 부호 있는 코드의 불충분한 활용입니다. 이러한 발견을 바탕으로, 유계 가중치 반올림(bounded weight rounding)을 최적화하고 활성화 값에 접을 수 있는 아핀 보정(foldable affine correction)을 적용하는 사후 학습 MX 양자화 방법인 VisionMX를 제안합니다. 여러 MX 스타일 포맷을 사용하여 이미지 분류(image classification), 객체 검출(object detection), 시맨틱 분할(semantic segmentation), 저조도 이미지 향상 작업 전반에서 VisionMX를 평가했습니다. VisionMX는 직접 변환 및 평가된 사후 학습 양자화 기준 모델들을 개선하며, MX 변환에 가장 민감한 아키텍처에서 가장 큰 폭의 성능 복구를 달성합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.