PyTorchKR Papers

최신 논문

총 9편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.32176v2cs.LG

더 적은 측정으로 희소 선형 분류기 혼합 모델의 효율적인 지지집합 복원

Efficient Support Recovery of Mixtures of Sparse Linear Classifiers with Fewer Measurements

선형 분류기 혼합 모델에서의 지지집합 복원(support recovery) 문제는 데이터가 여러 선형 결정 규칙의 혼합으로 생성될 때 기저 결정 규칙과 관련된 특징(feature)을 식별하는 것을 목표로 합니다. 특히, 부호 측정값(sign measurement)으로부터 $l$개의 미지의 $k$-희소(k-sparse) 벡터들의 지지집합(0이 아닌 좌표)을 복원하는 것이 목표입니다. 각 측정은 $l$개의 벡터 중 하나를 균등하게 무작위로 선택하고, 선택된 측정 벡터와의 내적 부호를 반환함으로써 생성됩니다. 본 논문에서는 측정 횟수를 줄이는 동시에 서브리니어(sublinear) 복호화 시간을 달성하여 기존 결과를 대폭 개선하는 적응형(adaptive) 및 비적응형(non-adaptive) 스킴을 제안합니다. 특히, 제안하는 적응형 구조는 기존 접근 방식에 비해 측정을 실질적으로 줄이면서도 복호화 복잡도를 주변 차원(ambient dimension) 기준 초이차(super-quadratic)에서 서브리니어로 낮춥니다. 또한 효율적인 복호화를 유지하면서 이전의 측정 한계를 개선하는 비적응형 스킴도 제공합니다. 종합적으로, 본 연구의 접근 방식은 기존에 알려진 방법들과 비교하여 혼합 모델의 지지집합 복원에 대해 샘플 복잡도와 복호화 시간 간에 더 효율적인 절충안을 제공합니다.

arXiv:2410.00848v2stat.ML

FastManly: Manly 혼합 모델을 위한 EM-그래디언트 알고리즘

FastManly: An EM-Gradient Algorithm for Manly Mixture Models

Manly 변환 혼합 모델의 더 빠른 구현 방식을 제안한다. FastManly라 불리는 이 방법은 전통적인 EM에서 사용하는 Nelder-Mead 대신, EM 그래디언트(EM gradient) 알고리즘에서 최적화를 위해 뉴턴 방법(Newton's method)을 사용한다. 그래디언트와 전체 헤시안을 유도하였다. 시뮬레이션 결과, 눈에 띄는 속도 향상과 함께 성능이 개선됨을 보였다.

arXiv:2604.16610v3stat.ML

고차원 일반화 선형 모델에서의 공정성 제약

Fairness Constraints in High-Dimensional Generalized Linear Models

대부분의 공정성을 고려한 학습 방법은 민감 속성(sensitive attribute)이 관측된다고 가정하지만, 이 가정은 프라이버시, 법적 요건, 또는 데이터 수집 제약으로 인해 성립하지 않을 수 있다. 본 연구에서는 민감 속성이 잠재(latent)되어 있고 다범주일 수 있으며 예측 변수(predictor)가 고차원일 수 있는 경우를 위한 공정성을 고려한 일반화 선형 모델(generalized linear model) 프레임워크를 개발한다. 후보 프록시 변수(proxy variable)는 연속형 예측 변수에 대해 가우시안 혼합(Gaussian mixture)으로, 범주형 예측 변수에 대해 곱-다항 혼합(product-multinomial mixture)으로 모델링한다. 이로부터 얻은 사후 그룹 소속(group-membership) 확률은 예측 변수를 잔차화(residualize)하여 잠재 민감 구조와의 연관을 줄이는 데 사용된다. 연속형 결과(outcome)에 대해서는 추정된 민감 속성이 예측 변동성에 기여하는 정도를 제한하기 위해 제약 최소제곱(constrained least squares)을 사용한다. 이진 결과에 대해서는 예측 확률과 추정 그룹 소속 간의 의존성을 줄이기 위해 패널티 로지스틱 회귀(penalized logistic regression)를 사용한다. 고차원 설정에서는 이 절차를 SEMMS 변수 선택(variable selection)과 결합하여 희소(sparse) 모델을 얻는다. 가우시안 및 범주형 혼합에 대한 식별 가능성(identifiability)과 잠재 클래스(latent-class) 복구 결과를 확립하고, 잔차화 후 예측력 손실을 정량화하는 식을 유도한다. 시뮬레이션과 실제 데이터 적용을 통해 유리한 정확도-공정성 성능을 보여준다.

arXiv:2607.14297v1stat.ME

비대칭 쌍선형 요인 분석기의 절약적 혼합 모형

Parsimonious Mixtures of Skewed Bilinear Factor Analyzers

비대칭 무작위 행렬을 군집화하는 혼합 모형은 차원 축소를 수행하지 않을 경우 과매개변수화 문제를 자주 겪을 수 있다. 쌍선형 요인 분석기를 사용하더라도, 군집 간 매개변수에 제약을 가함으로써 추가적인 매개변수 축소를 달성할 수 있다. 본 원고에서는 비대칭 행렬 변량 쌍선형 요인 분석기 혼합 모형에 대한 256개 모형으로 구성된 절약적 모형군을 제안하며, 특히 skew-t 분포의 경우를 다룬다. 매개변수 추정을 위한 AECM 알고리즘이 상세히 논의된다. 또한 광범위한 시뮬레이션이 수행되었으며, 본 방법은 MNIST 데이터셋과 Olivetti faces 데이터셋에 적용된다.

arXiv:2607.07887v1stat.ME

텐서 변량 데이터를 위한 공간 인자 분석기의 혼합

Mixtures of spatial factor analyzers for tensor-variate data

고차원 텐서 변량 공간 데이터의 군집화를 위해 공간 인자 분석기의 혼합(MSFA)을 제안하며, 스플라인 기반 공간 감쇠 공분산 구조와 행렬 변량 인자 분석을 결합하여 차원 증가에 따른 매개변수 팽창 문제를 해결한다. AECM 알고리즘과 일반화 최소제곱 추정량을 통해 매개변수를 추정하며, 라만 분광법 및 초분광 텍스처 데이터셋 적용을 통해 서로 다른 공간 패턴을 정확히 구별하는 성능을 입증한다.

arXiv:2607.05692v1stat.ME

계층적 베이지안 모델에서 혼합 가중치의 사후 분포 정확 계산

Exact computation of posterior distribution of mixture weights in hierarchical Bayesian models

계층적 혼합 모델(hierarchical mixture model)에서 혼합 가중치의 주변화(marginalization)를 정확히 수행하는 알고리즘을 제안하며, 2-성분 경우에 대해 $O(n^2)$ 동적 프로그래밍과 $O(n\log^2 n)$ FFT 변형을 통해 가중치의 사후 분포가 Beta 분포의 유한 혼합임을 증명한다. 소표본 희소 신호 환경에서 EM이 구간 추정을 제공하지 못하거나 가우시안/라플라스 근사가 오보정되는 상황에서도 샘플링 없이 보정된 신뢰 구간과 국소 위발견율(local FDR)을 MCMC 대비 두 자릿수 빠른 속도로 제공한다.

arXiv:2606.21873v1cs.IT

2성분 서브 가우시안 혼합 모델을 위한 1비트 클러스터링

One-Bit Clustering for Two Component Sub-Gaussian Mixture Models

클러스터링은 통계학과 기계학습에서의 기본적인 문제이다. 우리는 2성분 서브 가우시안 혼합 모델에 대한 최초의 1비트 클러스터링 방법을 제안한다. 이 방법은 디더(dithered) 양자화기를 통해 얻은 각 샘플 항목당 단 1비트만을 사용한다. 클러스터 중심에 대한 완만한 비첨예(non-spikiness) 조건 하에서, Lloyd 알고리즘의 변형이 양자화되지 않은 설정에서의 것과 비교 가능한 신호 대 잡음비(signal-to-noise ratio)에 대해 지수적으로 감쇠하는 오분류율(misclassification rate)을 달성함을 보인다. 이 결과는 더 나아가, 양자화되지 않은 데이터에 대한 최적 임계값을 로그 계수만큼만 초과하는 명시적 분리(separation) 조건 하에서 정확한 복원(exact recovery)을 함의한다. 차원 $p$가 충분히 클 때, 비첨예 조건은 양자화 이전에 Haar 분포 행렬을 사용한 무작위 회전을 적용함으로써 강제할 수 있다. 특히, $n$을 표본 크기(sample size)라 할 때, 부분 복원(partial recovery)에서는 $p \gtrsim 1$일 때, 정확한 복원(exact recovery)에서는 $p \gtrsim \log n \log\log n$일 때 높은 확률로 성립한다. 우리는 또한 미니맥스(minimax) 하한을 확립하여, 오분류율과 분리 조건이 일반적으로 날카로운 상수(sharp constants)를 갖음을 보인다. 수치 결과를 제시하여 이론을 뒷받침하고 제안 방법의 효과를 입증한다.

arXiv:2606.19643v1stat.ML

베이지안 혼합을 위한 변분 합의 몬테카를로

Variational Consensus Monte Carlo for Bayesian Mixture

건강 데이터의 프라이버시, 민감도 및 공유 제한에 동기를 얻어, 데이터가 컴퓨팅 노드 간에 완전히 공유되거나 통합될 수 없는 연합 학습(federated learning) 설정 내에서 베이지안 혼합 모델의 추론(inference)을 위한 포괄적인 파이프라인을 제시합니다. 우리는 합의 몬테카를로(Consensus Monte Carlo, CMC) 접근 방식을 채택하며, 여기서 MCMC 알고리즘은 각 데이터 사일로 내에서 독립적으로 실행되어 국소 사후 분포를 추정하고, 이를 집계하여 전체 데이터에 대한 사후 분포를 근사화합니다. Rabinovich, Angelino 및 Jordan (2015) [1]의 변분 CMC 접근 방식은 집계 단계를 변분 추론(variational inference) 문제로 프레임화하지만, 혼합 모델에 대한 그들의 적용은 클러스터 수와 주요 혼합 파라미터가 알려져 있다고 가정합니다. 우리의 주요 방법론적 기여는 다음과 같습니다: (i) 켤레성(conjugacy)을 요구하지 않고 클러스터 수와 모든 모델 파라미터를 추론하는 과적합 베이지안 혼합 모델로의 변분 CMC 확장; (ii) 모든 클러스터가 각 국소 데이터셋(dataset)에 나타나지 않는 사일로 간 설정에 적합한 새로운 클러스터 매칭 알고리즘; (iii) 다양한 연합 학습 제약 조건에 맞춰진 집계 단계를 위한 여러 추론 전략; (iv) 실제로 이들 중에서 선택하기 위한 가이드라인입니다. 포괄적인 시뮬레이션 연구는 이 프레임워크를 검증하고 최첨단 연합 학습 대안들과 비교할 수 있게 합니다. 특히, 국소 데이터셋의 구성이 데이터 내의 기본 클러스터링 구조를 반영할 때, 우리의 접근 방식은 통합 데이터에 적용된 표준 MCMC보다 더 큰 정확도로 작은 클러스터를 복구할 수 있음을 보여줍니다. 우리는 대규모 전자 건강 기록 데이터에 이 프레임워크를 적용하여 영국 노년 인구의 다중 동반 질환 패턴을 식별합니다.

arXiv:2606.18412v1stat.ME

다변량 함수 데이터에서의 이상 탐지를 위한 베이지안 비모수적 방법

Bayesian Nonparametric Detection of Anomalies in Multivariate Functional Data

함수 데이터의 이상 징후는 지배적인 데이터 생성 메커니즘에서 벗어나는 희귀하거나 뚜렷한 프로세스에서 발생합니다. 이러한 이탈을 탐지하는 것은 오류, 구조적 변화, 또는 관심 있는 다른 행동에 해당할 수 있는 응용 분야에서 필수적입니다. 본 연구는 다변량 함수 데이터에서의 이상 탐지를 위한 베이지안 비모수적 접근법을 소개합니다. 우리는 함수 데이터를 다중 출력 가우시안 프로세스의 무한 혼합으로 모델링하며, 슬라이스 샘플링을 통해 혼합 성분의 유한한 개수를 자동으로 결정합니다. 평균 함수는 웨이블릿 기저를 사용하여 표현되며, 데이터의 부드럽고 희소한 표현을 얻기 위해 베소프 사전 분포를 통해 정규화됩니다. 함수 간의 의존성은 내재적 공역화 모델을 사용하여 포착하며, 마르코프 연쇄 몬테카를로(MCMC) 알고리즘에 Carlin-Chib 곱 공간 단계를 도입하여 공분산 커널 선택 문제를 해결합니다. 이 모델 내에서 이상 관측치는 이상 징후의 수나 특성에 대한 사전 명세 없이 작은 혼합 성분에 할당됩니다. 우리는 정상 관측치의 15%에 대해 레이블이 제공되고 큰 클래스 불균형이 존재하는 준지도 학습 설정을 고려합니다. 제안하는 모델의 유용성은 단변량 및 다변량 함수 데이터 모두에서 입증됩니다.