PyTorchKR Papers

최신 논문

총 4편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.07888v2cs.LG

OLS 회귀를 위한 데이터 분할에 대한 분산 스케칭

Distributed Sketching on Data Partitions for OLS Regression

본 논문은 분산 스케치에 기반한 최소제곱(OLS) 회귀의 확장 가능한 접근법을 연구한다. 대규모 데이터 집합의 작은 스케치를 여러 워커에 분산하고, 각 워커가 자신의 스케치로부터 로컬 OLS 추정량을 구성하며, 로컬 추정량들을 평균하여 전역 추정량을 얻는다. 기존 연구는 각 스케치가 전체 데이터로부터 생성된다고 가정하지만, 이 스케치 단계는 계산 비용이 높아 때로는 표준 OLS보다 더 높다. 이에 우리는 데이터를 분할한 부분집합으로부터 각 스케치를 생성할 것을 제안하며, 이로써 워커 수가 늘어날수록 스케치 비용이 감소한다. 고정 설계 설정에서 전역 추정량의 정확한 초과 손실을 규명한다. 이 손실은 기존 연구에서 확립된 손실보다 크지만, 부분집합 공분산 간의 평균 Burg 발산이 작을 때는 그에 가깝게 유지된다. 제안한 분할 설계에서는 워커가 많을수록 발산이 커지는 경향이 있으므로, 이는 추정량의 계산 효율성과 통계적 효율성 사이의 상충 관계를 드러낸다.

arXiv:2506.18020v3cs.LG

강건한 분산 학습을 위한 엄밀한 안정성 경계: 비잔틴 장애는 데이터 포이즈닝보다 일반화를 더 저해한다

Tight Stability Bounds for Robust Distributed Learning: Byzantine Failures Hurt Generalization More than Data Poisoning

강건한 분산 학습(robust distributed learning)에서 비잔틴 장애(Byzantine failures)와 데이터 포이즈닝(data poisoning)이 일반화(generalization)에 미치는 영향을 최초로 이론적으로 분석하여, 두 위협 모델 간에 근본적인 일반화 격차가 존재함을 증명하였다. 알고리즘 안정성(algorithmic stability) 분석을 통해, 비잔틴 장애 하에서의 안정성 저하 요인이 데이터 포이즈닝보다 엄밀히 더 크다는 타이트한 상하한을 도출하였다.

arXiv:2607.02447v1cs.LG

Non-IID 데이터에 대한 분산 자기지도 학습 프레임워크의 강건성 이해

Understanding the Robustness of Distributed Self-Supervised Learning Frameworks Against Non-IID Data

분산 자기지도 학습(D-SSL)의 non-IID 데이터 강건성을 이론적으로 분석한 연구로, 마스킹 이미지 모델링(MIM) 기반 사전학습이 대조 학습(CL)보다 데이터 이질성에 본질적으로 더 강건하며, 연합 학습(FL)이 분산 학습(DecL)보다 강건성이 낮지 않음을 증명하였다. 이 이론적 통찰을 바탕으로 로컬-글로벌 정렬 정규화를 적용한 MAR loss를 제안하고, 다양한 모델 아키텍처와 분산 환경 실험을 통해 그 효과를 검증하였다.

arXiv:2606.20344v1quant-ph

양자 링 올리듀스: 분산 학습을 위한 통신 및 프라이버시 이점

Quantum ring all-reduce: communication and privacy advantages for distributed learning

머신 러닝 모델은 전례 없는 크기로 확장되었으며, 이로 인해 분산 장치에 걸친 학습이 해당 분야의 사실상의 표준이 되었습니다. 본 연구에서는 고전 및 양자 학습 모델 모두에 대해 양자 통신이 분산 학습을 더욱 통신 효율적으로 만들고 정보이론적으로 프라이버시를 보호할 수 있는 방법을 탐구합니다. 링 올리듀스는 대규모 분산 학습을 위한 기초적인 통신 프리미티브입니다. 우리는 사전 공유 엔탱글먼트와 초밀도 부호화를 사용하여 학습 모델이나 그래디언트 계산을 변경할 필요 없이, 링당 온라인 통신을 증명 가능한 최적의 요인 2만큼 줄이는 양자 버전을 제시합니다. 대역폭을 넘어, 이 프리미티브는 모든 고전 프로토콜에 대해 정보이론적으로 불가능한 프라이버시 보장을 가능하게 하며, 검증된 엔탱글먼트를 통해 GHZ 사본의 2배 오버헤드로 구성 가능한(composable) ε-보안 집계를 달성합니다. 우리의 하이브리드 양자-고전 통신 아키텍처는 학습 자체가 양자인지 고전인지에 관계없이 대규모 분산 학습에 대해 동시적인 통신 및 보안 이점을 제공합니다. 마지막으로, 링 올리듀스가 완료된 후 외부 클라이언트에 대한 전체 그래디언트 브로드캐스트가 불가능한 상황인 대역폭 제약 하의 서버-대-클라이언트 통신에 대한 그래디언트 충돌 감지에서의 양자 이점을 특성화합니다. 문제의 두 가지 변형은 서로 다른 분리(separation)를 허용합니다. 마진 기반 정렬 테스트(\textsc{GapIP}_τ)의 경우, 양자 이점은 마진 매개변수에 대해 이차적입니다: \widetilde{O}(\tau^{-1}\log P) 큐비트 대 \widetilde{O}(\min(\tau^{-2},P)) 비트. 개인 매개변수 매칭에 대한 부호 일치 감사(\textsc{TieAudit}_ε)의 경우, 이점은 통신 복잡도에서 지수적 분리를 나타냅니다: \Omega(\sqrt{P}) 비트가 필요한 반면 O(\epsilon^{-2}\log P) 큐비트면 충분합니다.