비지도 연합 학습을 위한 풀이 가능한 모델
A solvable model for unsupervised federated learning
한국어 초록
본 연구에서는 교사-다중 상호작용 학생(teacher-multiple interacting students) 시나리오를 통해 생성형 환경에서의 연합 학습(federated learning)을 분석하는 이론적 프레임워크를 제안한다. 이 시나리오에서 각 학생은 서로 다른 노이즈 손상이나 가변적인 크기의 서로 다른 부분 집합 접근을 통해 데이터의 고유한 실현을 수신한다. 평형 비정렬 시스템(equilibrium disordered system)의 이론적 도구를 활용하여, 학생들 간의 상호작용이 학습 성능을 체계적으로 향상시킴을 해석적으로 증명한다: 노이즈가 높은 학생은 더 적은 샘플로 기저 패턴을 복원하는 반면, 노이즈가 낮은 학생은 실제 신호(ground-truth signal)와 더 큰 중첩(overlap)을 달성한다. 샘플 복잡도(sample complexity), 노이즈 수준, 상호작용 강도의 함수로서 교사 복원을 위한 최적 베이즈 조건을 도출하고, 수치 시뮬레이션을 통해 이 예측을 검증한다. 도출된 동역학은 구조화된 은닉층을 가진 제한 볼츠만 머신(Restricted Boltzmann Machine, RBM)의 평형 샘플링으로 매핑될 수 있으며, 상호작용이 분산 생성 모델링을 향상시키는 방식에 대한 원칙적인 이론적 이해를 제공한다.
원문 초록
We introduce a theoretical framework for analyzing federated learning in a generative setting through a teacher-multiple interacting students scenario, in which each student receives a distinct realization of the data, either through a different noise corruption or by accessing a different subset, possibly of varying size. Using theoretical tools in equilibrium disordered system, we analytically show that interactions among students systematically enhance learning performance: highly noisy students require fewer samples to recover the underlying pattern, while low-noise students achieve a larger overlap with the ground-truth signal. We derive the optimal Bayesian conditions for teacher recovery as functions of the sample complexity, noise level, and interaction strength, and validate these predictions through numerical simulations. The resulting dynamics can be mapped onto equilibrium sampling in a Restricted Boltzmann Machine with a structured hidden layer, providing a principled theoretical understanding of how interactions improve distributed generative modeling.
요약
교사-학생 시나리오를 기반으로 생성형 비지도 연합 학습(unsupervised federated learning)을 분석하는 이론적 프레임워크를 제안하여, 학생 간 상호작용이 학습 성능을 체계적으로 향상시킴을 입증합니다. 해당 동역학은 제한된 볼츠만 머신(Restricted Boltzmann Machine)의 평형 샘플링으로 매핑되어 분산 생성 모델링에 대한 이론적 통찰을 제공합니다.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.13045v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
인식론적 불확실성 평가: OOD 탐지와 능동 학습을 넘어서
Evaluating Epistemic Uncertainty: Beyond OOD Detection and Active Learning
현재 인식론적 불확실성의 평가는 분포 외 탐지, 능동 학습, 선택적 예측과 같은 과제에 의존한다. 그러나 상호 정보량이나 예측의 분산과 같은 일반적인 인식론적 불확실성 점수는 후회(regret), 즉 예측기가 베이즈 최적 예측기에 비해 갖는 초과 오류를 추정한다. 본 논문은 인식론적 거부 옵션 프레임워크를 바탕으로, 후회를 식별하는 능력으로 인식론적 불확실성을 평가하고 이 평가를 다른 과제들과 비교한다. 반복된 사람 레이블이 있는 데이터셋에서 표준 방법들을 벤치마킹한 결과, 과제마다 방법의 순위가 다르게 나타나며, 한 기준에서는 최상위이고 다른 기준에서는 최하위인 방법 간의 쌍별 순위 역전도 포함된다. 이러한 불일치는 각 과제가 서로 다른 점수를 요구하는 최적 상태에서 이미 나타난다. 선택적 예측을 커버리지, 기대 위험, 후회에 대한 제약 최적화로 정식화하여, 최적 점수가 실제 우연적 불확실성과 인식론적 불확실성의 볼록 결합임을 증명하며, 따라서 선택적 예측과 후회 과제는 하나의 과제 족의 두 끝점이 된다. 이에 분포 외 탐지, 능동 학습, 후회 과제는 어떤 방법이 인식론적 불확실성의 좋은 추정기인지에 대해 이론적으로나 경험적으로 서로 일치하지 않으며, 선택적 예측은 실제 위험과 후회가 입력의 순서를 다르게 매기는 지점에서 후회 과제와 갈라진다. 따라서 연구자들은 모델의 무지에 대한 일반적 개념에 의존하는 대신, 인식론적 불확실성 추정이 지원하고자 하는 하위 의사결정을 명시해야 한다.
베이지안 내쉬를 넘어서: 비대칭 정보 하의 적대적 팀 게임을 위한 미니맥스-후회 균형 학습
Beyond Bayesian Nash: Learning Minimax-Regret Equilibria for Adversarial Team Games under Asymmetric Information
적대적 경로 탐색, 목표 탐색, 그래프 상의 도달 가능성 게임과 같이 비대칭 정보가 존재하는 적대적 팀 게임(ATG)은 숨겨진 목표 깃발과 같은 은닉된 상대 유형과 기만에 강건한 전략을 요구한다. 비대칭 정보 하에서 기만은 전지적 상대가 자연(Nature)과 공모하여 관찰된 유형에 따라 행동을 조정할 수 있도록 유형 분포를 전략적으로 이동시키는 것으로 간주된다. 베이지안 내시 균형(BNE)과 같은 기존의 위험 중립 해 개념은 분포 이동에 민감하며, 분포적으로 강건한 접근법은 미리 정해진 모호성 집합 내에서만 보장을 제공한다. 이러한 한계를 해결하기 위해 본 연구는 미니맥스 후회 추론의 분포 비의존적 강건성과 명목 유형 분포의 확률적 정보를 결합한 새로운 균형 개념인 확률적 강건 미니맥스 후회 균형(PR-MRE)을 도입한다. PR-MRE는 유형 공간의 고신뢰도 부분집합에 대해 최악의 경우 후회를 최소화하여, 확률 질량의 전략적 재분배에 대한 보호를 제공하면서 완전히 분포 비의존적인 접근법의 보수성을 피한다. 유한 정규형 베이지안 게임에서 근사 PR-MRE 계산을 강건 쌍선형 계획법으로 정식화할 수 있음을 보이고, 계산 가능한 반정부호 완화를 유도한다. 이어서 이 완화를 강건 이중 오라클 프레임워크 내의 새로운 메타 솔버인 PRMRE-PSRO로 적응시켜, 심층 강화학습 최선 응답을 통해 근사 PR-MRE 전략을 집단 기반으로 학습할 수 있게 한다. 그래프 구조의 적대적 팀 게임에서의 실험은 PR-MRE가 위험 중립 베이지안 내시 균형 해에 비해 숨겨진 유형 전반에서 최악의 경우 성능이 크게 향상된 전략을 발견하며, 그 결과 전략적 분포 이동 하에서 더 강건한 행동을 보임을 입증한다.
타원형 마할라노비스 판별 분석을 위한 폐형식 분수 방사형 링크
Closed-form fractional radial links for elliptical Mahalanobis discriminant analysis
우리는 두 클래스가 공유된 반경 생성자 $g$를 갖는 타원형 분포일 때의 이진 분류를 연구한다. 이때 로그 우도비는 두 제곱 마할라노비스 반경의 가법 함수이며, 반경 링크는 $\varphi=\log g$이다. 가우시안 클래스에서는 $\varphi$가 아핀이며 규칙은 이차 판별분석(QDA)으로 환원되고, 그렇지 않으면 베이즈 링크는 항등이 아니다. 이 링크를 스플라인 평활기로 적합하는 대신, 우리는 반경의 클래스 내 분포로부터 그 족을 유도하고 유한 분수 거듭제곱 사영을 추정한다. 반경 분포로부터 링크가 식별 가능하며, 플러그인 추정량이 유한 적률 조건에서 $\sqrt{n}$-일치성과 점근 정규성을 가지고, 유도된 분류기가 반복된 시브(sieve) 극한에서 점근적으로 베이즈 최적임을 증명한다. $d\ge2$이고 비중첩 클래스 모수인 경우, 항등 링크는 아핀(가우시안) 생성자에서만 충분하다. 이 브리지, GAM 소속, 그리고 이 이분법의 아핀 방향은 Lean 4에서 검증되었다. 우리는 Ghosh et al. (2025)의 전역 마할라노비스-GAM을 동일한 입력 예산으로 mgcv REML 스플라인을 사용해 재구현하여 비교한다. 두 UCI 벤치마크에서 유도된 링크는 적합된 GAM과 대등하다. 세 자산군의 금융 시계열 여섯 개에서, 시간 의존성을 존중하는 검증을 사용하면 적합된 GAM보다 유의하게 나쁜 경우가 없으며, CAD/USD에서는 더 낫고 나머지 다섯 개에서는 대등하다. 꼬리가 가장 두꺼운 세 시계열(원유 $[+0.023,+0.069]$, S&P 500 $[+0.039,+0.125]$, JPY/USD $[+0.009,+0.047]$)에서는 QDA를 능가하고 나머지에서는 대등하다. 닫힌 형태의 기준값을 갖는 속도 시뮬레이션은 $\sqrt{n}$ 속도를 재현하며, 공분산 이질성 하에서 QDA의 위험 하한과 유도된 링크의 소멸하는 초과 위험을 대비하여 보여 준다. 따라서 유도된 링크는 평활 모수 선택 없이도 조정된 GAM에 필적하며, 생성자가 가우시안에서 벗어나는 경우 QDA를 개선한다.
확장 가능한 인과 발견을 위한 배경 지식 통합
Integrating Background Knowledge for Scalable Causal Discovery
전문가 배경 지식은 인과 발견(causal discovery)의 실제 응용에서 종종 활용 가능하다. 실제 인과 그래프에 대한 이러한 제약 조건은 인과 효과의 식별 가능성과 학습된 구조의 정확도 측면에서 인과 발견에 도움이 될 뿐만 아니라, 후보 인과 그래프의 탐색 공간을 줄이는 데에도 기여한다. 인과 발견은 변수의 수가 많아질수록 계산 비용이 크게 증가할 수 있으므로, 인과 발견 과정에서 배경 지식을 효과적으로 활용하는 것이 중요하다. 그러나 현재 대부분의 방법들은 학습된 그래프를 정제하기 위해 인과 발견 이후의 후처리 단계에서만 배경 지식을 활용한다. 본 연구에서는 인과 발견 과정에서 배경 지식을 활용하는 프레임워크를 개발하며, 특히 전체 그래프의 일부만을 복원하는 확장 가능한 인과 발견 방법에 초점을 맞춘다. 우리는 여러 알고리즘에 대해 이 프레임워크를 구현하고, 배경 지식 활용이 계산 요구량을 줄이고 학습된 구조의 품질을 향상시킬 수 있음을 실험적으로 보인다.
OLS 회귀를 위한 데이터 분할에 대한 분산 스케칭
Distributed Sketching on Data Partitions for OLS Regression
본 논문은 분산 스케치에 기반한 최소제곱(OLS) 회귀의 확장 가능한 접근법을 연구한다. 대규모 데이터 집합의 작은 스케치를 여러 워커에 분산하고, 각 워커가 자신의 스케치로부터 로컬 OLS 추정량을 구성하며, 로컬 추정량들을 평균하여 전역 추정량을 얻는다. 기존 연구는 각 스케치가 전체 데이터로부터 생성된다고 가정하지만, 이 스케치 단계는 계산 비용이 높아 때로는 표준 OLS보다 더 높다. 이에 우리는 데이터를 분할한 부분집합으로부터 각 스케치를 생성할 것을 제안하며, 이로써 워커 수가 늘어날수록 스케치 비용이 감소한다. 고정 설계 설정에서 전역 추정량의 정확한 초과 손실을 규명한다. 이 손실은 기존 연구에서 확립된 손실보다 크지만, 부분집합 공분산 간의 평균 Burg 발산이 작을 때는 그에 가깝게 유지된다. 제안한 분할 설계에서는 워커가 많을수록 발산이 커지는 경향이 있으므로, 이는 추정량의 계산 효율성과 통계적 효율성 사이의 상충 관계를 드러낸다.
밀도 행렬 임베딩 프레임워크 내 양자 선택 구성 상호작용을 위한 기계학습 기반 컴팩트 부분공간 생성
Machine-Learned Compact Subspace Generation for Quantum Selected Configuration Interaction within Density Matrix Embedding Framework
양자 선택 배치 상호작용(QSCI)의 확장인 샘플 기반 양자 대각화(SQD)는 분자 바닥 상태 에너지를 위한 유망한 하이브리드 양자-고전 패러다임이다. QSCI는 변분 최적화를 양자 샘플링으로 대체함으로써 불모의 고원(barren plateau)을 피하고 상관된 파동함수를 직접 재구성한다. 그러나 기존의 배치 복원은 물리적으로 가장 관련 있는 배치를 겨냥하지 않고 주로 대칭성 제약만을 부과하여, 과도하게 큰 부분공간과 비용이 큰 고전적 대각화를 초래하는 경우가 많다. 우리는 제한 볼츠만 머신(RBM)에 기반한 조밀한 부분공간 생성 프로토콜인 QSCI-RBM을 도입하고 이를 밀도 행렬 임베딩 이론(DMET)에 통합한다. RBM은 하드웨어 샘플로부터 지배적인 행렬식의 분포를 학습하여 확률이 높은 배치를 생성한다. 샘플링은 CH$_5$NO에는 IBM Heron R1(\texttt{ibm\_torino}), C$_2$H$_4$에는 R2(\texttt{ibm\_fez}), 더 큰 H$_2$O 벤치마크와 단백질-리간드 시스템에는 R3(\texttt{ibm\_boston})에서 수행되었다. 활성 공간 크기가 증가하는 이들 벤치마크에서 검증한 후, 열 개의 DMET 불순물로 분할된 SARS-CoV-2 주 단백질분해효소(M\textsuperscript{pro})에 결합한 억제제 Carmofur를 시뮬레이션한다. DMET-QSCI-RBM과 DMET-SQD 기준선 모두 네 번의 $\mu$ 반복 이내에 화학 퍼텐셜 자기일관성에 도달한다. 수렴된 화학 퍼텐셜에서 DMET-QSCI-RBM은 대칭성을 보존하는 배치 공간의 평균 $0.22\%$만 사용하면서 DMET-FCI와 $0.05\,\mathrm{mHa}$ 이내로 일치하는 반면, DMET-SQD는 $33.0\%$에서 $0.55\,\mathrm{mHa}$로, 약 153배의 부분공간 감소로 이어진다. 따라서 RBM 보조 확장은 동등하거나 더 나은 정확도에서 훨씬 더 조밀한 하드웨어 유래 행렬식 공간을 제공하며, 실제 하드웨어에서 생물학적 시스템의 확장 가능한 양자 임베딩을 위한 고전적 부담을 줄인다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.