Distances with mixed type variables some modified Gower's coefficients
원문 초록
Nearest neighbor methods have become popular in official statistics, mainly in imputation or in statistical matching problems; they play a key role in machine learning too, where a high number of variants have been proposed. The choice of the distance function depends mainly on the type of the selected variables. Unfortunately, relatively few options permit to handle mixed type variables, a situation frequently encountered in official statistics. The most popular distance for mixed type variables is derived as the complement of the Gower's similarity coefficient; it is appealing because ranges between 0 and 1 and allows to handle missing values. Unfortunately, the unweighted standard setting the contribution of the single variables to the overall Gower's distance is unbalanced because of the different nature of the variables themselves. This article tries to address the main drawbacks that affect the overall unweighted Gower's distance by suggesting some modifications in calculating the distance on the interval and ratio scaled variables. Simple modifications try to attenuate the impact of outliers on the scaled Manhattan distance; other modifications, relying on the kernel density estimation methods attempt to reduce the unbalanced contribution of the different types of variables. The performance of the proposals is evaluated in simulations mimicking the imputation of missing values through nearest neighbor distance hotdeck method.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
확률적 역학을 통한 이미지 인페인팅
Image Inpainting via Stochastic Dynamics
이미지 인페인팅은 구조적 일관성을 유지하면서 결손 영역을 복원하는 것을 목표로 한다. 본 연구는 데이터 기반 확률적 역학에 근거한, 신경망 학습 없이 동작하는 비모수적 방법을 제안한다. 마스킹된 이미지에서 출발하여, 결손 픽셀은 참조 데이터셋에서 직접 추정한 커널 가중 보정이 적용된 역시간 확률 미분 방정식을 통해 진화한다. 이 경험적 보정은 신경망을 학습하거나 모수적 밀도 모델을 적합하지 않고도, 재구성을 데이터 분포의 고밀도 영역으로 유도한다. MNIST, Fashion-MNIST, MVTec에서의 실험 결과, 제안 방법은 PSNR, SSIM, 시각적 품질 측면에서 Mean Fill, Telea, Navier-Stokes 인페인팅을 능가한다. CelebA에서는 경쟁력 있는 성능을 유지하며, 구조에 민감한 가림에 대해서도 그럴듯한 복원 결과를 생성한다. 이러한 결과는 이미지 인페인팅을 위한 비모수적 사전(prior)으로서 경험적 참조 통계의 효과를 보여준다.
다양체 가설 하의 결측 데이터 대체
Missing Data Imputation under Manifold Hypothesis
다양체 가설(manifold hypothesis)은 고차원 데이터가 저차원 내재 다양체 근방에 집중되어 있다고 가정한다. 혼합 변분 오토인코더(VAE)의 최근 발전은 이러한 내재 구조를 충실하게 추출하는 강력한 도구를 제공한다. 이로부터 얻어지는 기하학적 구조는 변수들 간의 지역적 및 전역적 관계를 자연스럽게 도입하며, 결측 데이터를 체계적으로 대체할 수 있는 방법을 제공한다. 우리는 샘플링-중요도-재샘플링(SIR) 절차를 통해 \( p(\bm{x}_{\mathrm{mis}} \mid \bm{x}_{\mathrm{obs}}) \)로부터 샘플링할 수 있는 모델 기반 대체 방법을 제안하며, 이는 잠재 공간에서의 결합 확산 모델(diffusion model)로 더욱 보강될 수 있다. 우리의 방법은 내재 기하학적 구조를 존중하면서 결측 데이터를 대체하고, 최신 방법들과 경쟁력 있는 성능을 달성하며, 대체값의 불확실성을 정량화하고, 모델 기반이므로 전체 절차를 재실행하지 않고도 즉석 대체(on-the-fly imputation)가 가능하다.
양반정 커널 밀도 추정을 통한 분포 충실 결측값 대체
Distributionally Faithful Imputation via Positive Semi-Definite Kernel Density Estimation
결측값은 통계적 추론과 머신러닝 파이프라인을 저해하지만, 대부분의 대체 방법은 결합 데이터 분포를 무시하는 휴리스틱이나 제한적인 모수적 가정에 의존한다. 우리는 완전 무작위 결측(MCAR, missing completely at random) 하에서의 대체를 마스킹된 관측으로부터의 밀도 추정으로 재정의한다: 관측된 주변 분포가 데이터의 것과 정확히 일치하는 분포를 추정하는 것이다. 양반정(PSD, positive semi-definite) 커널 밀도를 활용함으로써 뉴턴 내점법(Newton interior point method)으로 풀 수 있는, 닫힌 형식의 주변 분포를 갖는 볼록 경험적 위험 문제를 도출한다. 결과적인 PSD Impute 모델은 동일하게 적합된 밀도로부터 단일 및 다중 대체를 모두 제공하며, 매우 규칙적인 확률에 대해 차원의 저주를 극복하는 빠른 적응적 초과 위험을 통해 통계적 일관성을 갖는다. 하나의 합성 데이터셋과 열한 개의 실제 데이터셋에 대한 예비 실험은 널리 사용되는 대체 기준선(baseline)과 비교하여 경쟁력 있는 분포 정확도를 이미 보여주며, 강력한 실용적 가능성을 시사한다.
조건부 독립을 넘어선 Schrödinger Bridge 기반 통계적 매칭
Statistical Matching via Schrödinger Bridge beyond Conditional Independence
통계적 매칭(statistical matching)은 공변량 $X$를 공유하지만 목표 변수 $Y$와 보조 변수 $Z$를 각각 별도로 관측하는 부분적으로 겹치는 데이터셋을 결합한다. 고전적 접근법은 일반적으로 조건부 독립 가정(conditional independence assumption, CIA)을 사용하는데, 이는 문제를 식별 가능하게 만들지만 근본적으로 $X$가 알려진 이후에는 가져온 보조 변수가 $Y$에 대한 추가적인 예측력을 제공하지 않는다는 것을 의미한다. 이 잠재적인 $Y$--$Z$ 종속성을 포착하기 위해, 우리는 예측적 통계적 매칭을 위한 새로운 종속성 인식(dependency-aware) Schrödinger bridge를 제안한다. 우리의 접근법은 운송(transportation) 기반 호환성 비용으로 보수적인 CIA 기준선을 기울여 두 분리된 데이터베이스를 결합하고, 정보가 있는 결합 분포를 복원한다. 그 결과로 얻어진 통계적 학습 프레임워크는 양방향 대치(imputation)를 위한 완전한 확률적 사후 규칙을 제공한다. 이론적으로, 학습된 bridge가 CIA 기준선 대비 엄격히 개선되는 충분 조건을 확립하고, 적절한 비용 하에서 가우시안 설정에서 정확한 결합 복원 보장을 함께 제시한다. 합성 벤치마크와 실제 데이터셋(CelebA 및 Adult)에 걸쳐, 우리는 종속성 인식 완성(completion)이 하류 예측 유용성을 일관되게 개선함을 보이며, 기저 모집단이 강한 $Y$--$Z$ 종속성을 보이는 데이터 재코딩(data recoding)과 같은 설정에서 특히 유익함을 입증한다.
Mind the gap: an experimental evaluation of imputation of missing values techniques in time series
확률 측도의 PCA: 희소 및 조밀 표본추출 영역
PCA of probability measures: Sparse and Dense sampling regimes
확률 측도에 대해 PCA를 수행하는 일반적인 접근법은 이를 표준 함수형 PCA 기법을 적용할 수 있는 힐베르트 공간에 임베딩하는 것이다. 하나의 측도의 임베딩을 $m$개의 표본으로부터 추정할 때의 수렴 속도는 잘 알려져 있으나, 여러 측도를 다루는 설정은 기존 문헌에서 다루어지지 않았다. 본 논문에서는 $n$개의 확률 측도가 관측되고 각각이 $m$개의 표본을 통해 관측되는 이중 점근 영역에서 PCA를 연구한다. 우리는 경험적 공분산 연산자와 PCA 초과 위험에 대해 $n^{-1/2} + m^{-\alpha}$ 형태의 수렴 속도를 유도하며, 여기서 $\alpha>0$은 선택한 임베딩에 따라 달라진다. 이는 측도의 개수 $n$과 측도당 표본 수 $m$ 사이의 관계를 규명하며, 수렴 거동에서 희소(작은 $m$)에서 조밀(큰 $m$)로의 전이가 나타남을 보여준다. 더 나아가, 조밀 영역의 속도가 경험적 공분산 오차에 대해 미니맥스 최적임을 증명한다. 수치 실험은 이러한 이론적 속도를 검증하고, 적절한 부표본추출이 계산 비용을 줄이면서도 PCA 정확도를 보존함을 보여준다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.