arXiv:2202.03287

Gaussian Graphical Models as an Ensemble Method for Distributed Gaussian Processes

Hamed Jalali, Gjergji Kasneci

제출 2022-02-07

원문 초록

Distributed Gaussian process (DGP) is a popular approach to scale GP to big data which divides the training data into some subsets, performs local inference for each partition, and aggregates the results to acquire global prediction. To combine the local predictions, the conditional independence assumption is used which basically means there is a perfect diversity between the subsets. Although it keeps the aggregation tractable, it is often violated in practice and generally yields poor results. In this paper, we propose a novel approach for aggregating the Gaussian experts' predictions by Gaussian graphical model (GGM) where the target aggregation is defined as an unobserved latent variable and the local predictions are the observed variables. We first estimate the joint distribution of latent and observed variables using the Expectation-Maximization (EM) algorithm. The interaction between experts can be encoded by the precision matrix of the joint distribution and the aggregated predictions are obtained based on the property of conditional Gaussian distribution. Using both synthetic and real datasets, our experimental evaluations illustrate that our new method outperforms other state-of-the-art DGP approaches.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2606.30228v1cs.LG공통 태그 Diversity, Gaussian Processes

B3O: 확장 가능한 볼츠만 배치 베이지안 최적화

B3O: Scalable Boltzmann Batch Bayesian Optimization

현대 엔지니어링 워크플로우는 대규모 병렬 시뮬레이션에 점점 더 의존하고 있으며, 이는 확장 가능한 대규모 배치 베이지안 최적화(BO)의 필요성을 높이고 있다. 그러나 기존 배치 BO 방법들은 높은 계산 비용을 수반하거나, 배치 다양성을 저해하는 근사에 의존한다. 우리는 배치 생성을 순수한 샘플링 문제로 재구성하는 프레임워크인 B3O(Boltzmann Batch Bayesian Optimization)를 제안한다: 획득 함수(acquisition function)로 정의된 볼츠만 분포에서 직접 샘플을 추출함으로써 기존 대규모 배치 방법의 병목을 회피한다. 이론적으로, 우리는 이 분포에서 샘플링된 쿼리가 무시할 수 있을 정도의 추가적인 리그렛만을 발생시킴을 증명한다. 실험적으로, B3O는 표준 합성 벤치마크에서 기존 배치 BO 방법들을 능가하며, 다목적 전극 설계 및 혼합 변수 레이스카 구성을 포함한 복잡한 응용 과제에 걸쳐 강건하게 적응한다.

arXiv:2606.12247v2cs.CY공통 태그 Diversity

3인칭 감사를 넘어서: 사용자 중심 LLM 바이어스 연구를 위한 상황화된 상호작용 감사

Beyond Third-Person Audits: Situated Interaction Auditing for User-Centered LLM Bias Research

대규모 언어 모델(LLM)의 편향 연구는 모델이 인구 집단을 외부 대상으로서 어떻게 표상하거나 평가하는지를 연구하는 3인칭 감사에 주로 초점을 맞추어 왔다. 그러나 이 패러다임은 감사에 사용자가 부재하다는 구조적 사각지대를 간과한다. 실제로 LLM은 개방적이고 개인적인 상호작용에서 사용되며, 이때 모델은 사용자를 암묵적으로 표상하고 그에 맞춰 응답을 조정한다. 동일한 요청이 누가 묻느냐에 따라 다른 응답을 낳는다면, 편향은 모델이 타인을 서술하는 방식이 아니라 대화 상대를 대하는 방식에서 나타난다. 1인칭 편향에 대한 실증 연구가 늘고 있으나, 서로 다른 단서, 결과 지표, 타당화 방식을 사용하여 결과를 비교하기 어렵다. 본 논문은 이러한 문헌을 위한 공통 진단 프레임워크인 상황 기반 상호작용 감사(SIA)를 제안한다. SIA는 이름과 표면적 표지, 글쓰기 스타일과 방언, 명시된 정체성이라는 사용자 프로필 신호의 유형론을 설계 원칙 및 결과 지표와 함께 도입하여 연구를 비교하고 누적할 수 있게 한다. 우리는 이 프레임워크를 아홉 개 과업 영역과 세 가지 모델에 걸친 칠레인의 이름과 성에 대한 사례 연구로 구현하고, 실무자를 위한 지침과 연구자를 위한 미해결 질문으로 마무리한다.

arXiv:2607.09645v2stat.ML공통 태그 Gaussian Processes

방향 비순환 그래프 위의 심층 가우시안 과정

Deep Gaussian Processes on Directed Acyclic Graphs

많은 실제 과정은 방향 비순환 그래프(DAG)를 따르는 함수들의 합성으로 표현할 수 있다. 인과 모델링에서 이는 기저 메커니즘에, 공학에서는 다중 충실도 수준에, 유전자 조절 네트워크에서는 전사 인자에 해당한다. 이러한 함수들은 DAG 전반에서 잡음이 있고 이질적으로 샘플링된 측정값으로 부분적으로만 관측되므로, 재구성, 불확실성 전파, 추론에 상당한 어려움을 야기한다. 이러한 어려움을 해결하기 위해 함수에 대한 사전분포를 두어 자연스럽게 DAG 위의 심층 가우시안 과정에 도달한다. 우리는 이들의 사전분포 붕괴 거동과, 그래프 위상 및 중간 관측이 정보 보존에 미치는 영향을 이론적으로 연구한다. 입력 간 구별이 보존되는 깊이의 점근적 빈도에 대한 거의 확실한 하한을 얻고, 이것이 성립하는 폭넓은 커널 클래스를 규명하며, 입력 연결의 역할에 관한 \citep{dunlop2018}의 관찰을 증명한다. 또한 그래프 의존성을 유지하고 합성적 불확실성을 보존하며 충돌자(collider)의 설명 소거(explaining-away) 거동을 포착하는 구조적 변분 근사를 제시한다. 마지막으로 대규모 및 DAG 오지정 상황에서 이론과 방법론을 경험적으로 검증한다. 이어서 잠재 충돌자 DAG, 단백질 신호 전달 네트워크, 다중 충실도 \mbox{heavy-ion} 충돌 에뮬레이션 과제를 모델링하여, 최고 수준의 성능을 달성하는 동시에 저충실도 기여를 복원하고 시뮬레이터 계층에 대한 해석 가능성을 제공한다.

arXiv:2606.18071v2cs.LG공통 태그 Gaussian Processes

마르코프 리프팅을 통한 볼테라 생성 모델

Volterra Generative Models via Markovian Lifting

확산 기반 생성 모델은 보통 브라운 운동이 구동하는 마르코프 과정으로 데이터를 교란한다. 볼테라 과정은 더 유연한 시간적 의존성을 허용하지만, 그 비마르코프 구조는 스코어 학습과 역방향 시뮬레이션을 복잡하게 만든다. 우리는 볼테라 생성 모델을 개발하고 마르코프 근사를 제공한다. 이후 가우시안 조건화를 통해 잡음 제거 문제를 원래의 데이터 차원으로 축소한다. 분산 폭발 및 분산 보존 표현과의 연결을 제시한다. 또한 본 프레임워크는 EDM2 네트워크와 같은 사전 학습된 잡음 제거기의 재사용을 허용한다. 하나의 보조 인자를 두면, 처음부터 학습한 모델은 MNIST에서 FID $0.547$, 조건부 CIFAR-10에서 $1.860$을 달성한다. 오토가이던스를 적용하면 ImageNet64 FID는 미세 조정 후 $1.912$에 도달하며, ImageNet512 FID는 고정된 사전 학습 네트워크를 사용하여 $1.903$에 도달한다.

arXiv:2607.22305v2cs.AI공통 태그 Diversity

영향력 있는 다원주의적 정렬 연구를 위한 로드맵

A Roadmap to Impactful Pluralistic Alignment Research

책임 있는 AI에 관한 많은 연구는 수십억 명이 사용하는 AI 시스템의 행동을 바꾸는 것을 목표로 한다. 다양한 인간의 가치와 관점을 대표하고 이에 기여하는 AI 시스템을 구축하는 것을 목표로 하는 다원적 가치 정렬은 이러한 활발한 연구 의제 중 하나로 부상했다. 그러나 주요 프론티어 연구소와 오픈 웨이트 개발자를 감사한 결과, 다원적 정렬이 이들 모델의 학습이나 평가 방식에 영향을 미쳤다는 공개적 증거를 찾을 수 없었다. 다원적 정렬은 주요 목표를 달성하려면 실제 도입이 필요하므로, 우리는 세 가지 장벽을 규명하고 각각을 해결하기 위한 연구 로드맵을 제시한다. 1. 지금까지 다원적 정렬의 정당화는 대부분 규범적이거나 이론적이다. 다원적 AI가 사용자와 사회에 주는 이점과 단점을 측정하는 연구가 필요하다. 2. 다원적 정렬 연구 커뮤니티는 다원적 행동이 언제 정당화되는지, 그리고 실제로 어떤 모습이어야 하는지에 대해 합의하지 못했다. 개발자가 이를 구현할 수 있을 만큼 구체적으로 이 행동을 명세하는 연구가 필요하다. 3. 기존의 다원주의 평가와 방법은 배포할 준비가 되어 있지 않다. 다른 모델 특성에 미치는 영향을 보고하고 프로덕션 시스템의 요구 사항을 충족하는 평가와 방법이 필요하다. 이러한 장벽은 다원적 정렬에만 해당하지 않으므로, 우리의 로드맵은 유사한 변화 이론을 가진 책임 있는 AI 연구의 다른 분야에도 적용된다. 사람들이 더 많은 의사결정을 AI 시스템에 맡기고 AI 에이전트가 사람을 대신해 행동하는 만큼, 우리는 이 로드맵이 해당 연구가 그러한 결정을 내리는 배포된 모델에 도달하도록 돕기를 바란다.

arXiv:2606.18209v2cs.LG공통 태그 Diversity

분류를 위한 데이터셋 증류 재고: 증류 세트가 코어셋보다 우수한가?

Rethinking Dataset Distillation for Classification: Do Distilled Sets Outperform Coresets?

데이터셋 증류(DD)는 대규모 데이터셋의 정보를 소수의 합성 샘플로 압축하여 효율적인 학습을 위한 간결한 학습 세트를 합성하는 것을 목표로 하는, 데이터 중심 머신러닝의 주요 접근법으로 부상했다. 그러나 DD 방법은 표준 ERM부터 단일/다중 교사 지도에 이르기까지 일관되지 않은 평가 프로토콜 하에서 평가되는 경우가 많아, 증류된 데이터 자체의 효과를 평가 방식과 분리하여 파악하기 어렵다. 또한 많은 기존 방법은 압축된 데이터셋을 실제 샘플의 부분집합으로 제한하면 표현력이 근본적으로 제한된다는 가정에 기반하여, DD가 코어셋 선택(CS)과 같은 데이터 가지치기 접근법보다 우수하다고 주장한다. 본 연구에서는 표준화된 데이터셋과 평가 프로토콜을 사용한 대규모 실험을 통해 DD 방법의 본질적 효과를 비판적으로 평가한다. 우리는 ImageNet-1K, ImageNet100, ImageNette에서 널리 채택된 세 가지 학습 프로토콜을 사용하여 일곱 가지 최신(SOTA) DD 방법을 네 가지 CS 전략과 비교 평가한다. 실험 결과, 일부 DD 방법은 단순한 무작위 부분집합조차 능가하지 못하며, SOTA DD 접근법도 대규모 데이터셋에서 코어셋과 비슷하거나 더 나쁜 성능을 보이면서 구축 비용은 상당히 더 높은 것으로 나타났다. 정확도 외에도 압축된 세트의 대표성, 다양성, 품질을 평가한 결과, 코어셋이 원본 데이터 분포를 일관되게 더 잘 포괄하는 것을 확인했다. 이러한 결과는 현재 DD 방법의 실용적 이점이 제한적임을 보여 주며, 코어셋이 여전히 경쟁력이 있고 데이터 중심 학습에서 계산적으로 더 효율적인 대안인 경우가 많음을 시사한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.