arXiv:2001.11130

Blocked Clusterwise Regression

Max Cytrynbaum

제출 2020-01-29

원문 초록

A recent literature in econometrics models unobserved cross-sectional heterogeneity in panel data by assigning each cross-sectional unit a one-dimensional, discrete latent type. Such models have been shown to allow estimation and inference by regression clustering methods. This paper is motivated by the finding that the clustered heterogeneity models studied in this literature can be badly misspecified, even when the panel has significant discrete cross-sectional structure. To address this issue, we generalize previous approaches to discrete unobserved heterogeneity by allowing each unit to have multiple, imperfectly-correlated latent variables that describe its response-type to different covariates. We give inference results for a k-means style estimator of our model and develop information criteria to jointly select the number clusters for each latent variable. Monte Carlo simulations confirm our theoretical results and give intuition about the finite-sample performance of estimation and model selection. We also contribute to the theory of clustering with an over-specified number of clusters and derive new convergence rates for this setting. Our results suggest that over-fitting can be severe in k-means style estimators when the number of clusters is over-specified.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.10931v1cs.LG공통 태그 regression, Model Selection

기호 회귀에서 선택 압력으로서의 계수 보정

Coefficient Calibration as Selection Pressure in Symbolic Regression

밈틱 기호 회귀(memetic symbolic regression)에서는 후보 구조들이 계수 보정(coefficient calibration)을 거친 후 비교되므로, 보정 프로토콜 자체가 진화적 선택에 기여한다. 표준적인 중앙집중식 보정은 각 구조를 풀링된 샘플에서의 최적값으로 평가하며, 이 보정이 공변량 변화(covariate shift)에 대해 얼마나 안정적인지를 고려하지 않기 때문에, 적합이 샘플별 계수에 의존하는 구조를 선호하게 될 수 있다. 우리는 디리클레-싱크혼 상수 평균화(Dirichlet-Sinkhorn Constant Averaging, DSCA)를 제안한다. 이는 최적화 데이터를 서로 다른 공변량 분포를 가진 동일한 크기의 부분집합으로 분할하고, 각 후보를 모든 분할에서 독립적으로 보정한 다음, 그 결과로 얻어진 파라미터들의 평균값에서 평가하는 보정 전략이다. 우리는 올바르게 특정되고 식별 가능한(identifiable) 수식에 대해서는 DSCA의 중앙집중식 보정에 대한 초과 손실이 모집단 수준에서 사라지는 반면, 모형이 잘못 특정된(misspecified) 경우에는 분할별 보정이 풀링된 최적값으로 수렴하지 않을 때 이 초과 손실이 지속됨을 보인다. 합성 벤치마크와 10개의 실세계 데이터셋에서, DSCA는 음의 로그가능도(negative log-likelihood)와 아카이케 정보기준(Akaike information criterion) 및 베이즈 정보기준(Bayesian information criterion)에 의한 선택 하에서, 중앙집중식 BFGS(Broyden-Fletcher-Goldfarb-Shanno) 및 레벤버그-마쿼트(Levenberg-Marquardt) 보정에 비해 함수 복원(functional recovery)과 정확도-복잡도 트레이드오프(accuracy-complexity trade-off)를 개선한다. 메커니즘 분석은 DSCA의 초과 손실을 일반화 격차(generalization gap)와 연관시키며, 이 효과가 반복적인 중앙집중식 피팅으로는 재현되지 않음을 보여준다. 이러한 결과는 통제된 이형(heterogeneous) 보정이 기호 회귀 탐색에서 보완적인 선택 압력의 원천을 제공함을 시사한다.

arXiv:2610.02559v1cs.LG공통 태그 regression, Clustering

시그모이드 신경망의 사후 학습 압축을 위한 역활성화 회귀 기반 뉴런 병합

Neuron merging via inverse-activation regression for post-training compression of sigmoid neural networks

신경망의 규모가 지속적으로 커짐에 따라, 제한된 계산 자원 환경에서의 효율적인 추론을 위한 모델 압축의 중요성이 점차 커지고 있습니다. 구조적 가지치기(structured pruning) 방식은 덜 중요하다고 추정되는 뉴런이나 채널을 제거하지만, 이렇게 제거된 단위들도 여전히 유용한 정보를 담고 있을 수 있습니다. 학습된 네트워크를 조대화(coarse-graining)하는 관점에서 볼 때, 여러 뉴런 자유도가 통합될 때 어떤 정보를 보존해야 하는지 묻는 것은 가치 있는 일입니다. 본 논문에서는 학습된 신경망의 압축을 위한 군집 기반 병합 방법을 논의합니다. 데이터가 필요 없는(data-free) 기여도 가중 평균 방식뿐만 아니라, 뉴런 반응을 역활성화 함수를 통해 사전 활성화(pre-activation) 공간으로 역매핑하고 최소자승법을 사용하여 각 대표 뉴런의 가중치와 편향을 추정하는 뉴런 병합 방법을 제안합니다. 또한 실제 학습 입력을 활용하는 데이터 보조 전략과 무작위로 생성된 입력을 사용하는 데이터 무관(data-free) 전략을 모두 검토합니다. 이러한 비교를 통해 실험 대상인 시그모이드 네트워크에서 병합 과정 시 군집화에는 가중치 정보가 특히 유용하고, 대표 뉴런 복원에는 활성화 정보가 유용하다는 실증적 증거를 제공합니다.

arXiv:2609.26624v2stat.ML공통 태그 regression, Model Selection

희소 가우시안 프로세스 회귀에서의 기저 함수 선택

On Basis Function Selection for Sparse Gaussian Process Regression

희소 가우시안 프로세스는 입력 공간 상의 고정 기저 $\{\phi_j\}$로의 적절한 전개로 커널을 대체함으로써 $O(N)$ 추론을 달성한다. 계산 예산 $M \ll N$이 주어지면, 실무자들은 관례적으로 기저를 처음 $M$개 항으로 잘라(truncate) 사용한다. 그러나 형식적 프레임워크상 데이터에 실제로 중요한 $M$개의 기저 함수만 선택하는 것을 막을 수는 없다. 이렇게 하면 신호가 없는 기저 함수에 예산을 쓰는 것을 피할 수 있지만, 후보를 순위 매기기 위한 기준이 필요하다. 우리는 기저 함수 선택 문제에 대한 정보 이론적 관점에서 도출한 세 가지 기준을 제안한다. 각 기준은 선택 시점의 서로 다른 지식 상태에 대응한다: 무-데이터(no-data) 상태, 무-사전(no-prior) 상태, 그리고 그 중간(in-between) 상태. 그런 다음 세 가지 기저 계열—Hilbert 공간 가우시안 프로세스(HSGP), 변분 푸리에 특징(VFF), 변분 inducing 구면 조화(VISH)—에 대해 여섯 개의 UCI 회귀 벤치마크에서 절단(truncation) 대비 선택(selection) 전략의 성능을 연구한다. 우리는 무-데이터 기준이 안전한 기본값이며, HSGP, VFF, VISH에 대해 절단과 동등하거나 더 나은 성능을 보이고, VISH에서는 상당한 이득을, 해당 기저 계열에 대해 최근 개발된 선택 휴리스틱 대비 개선을 보인다고 관찰한다. 데이터를 고려한 무-사전 및 중간 기준은 세 계열 중 실무에서 가장 널리 쓰이는 HSGP에 대해 절단 대비 상당한 이득을 제공한다.

arXiv:2609.27256v1stat.ME공통 태그 regression, Model Selection

조건부 공분산 순서화를 통한 함수적 인과 발견

Functional Causal Discovery via Conditional Covariance Ordering

본 연구는 각 노드가 확률 함수인 설정에서의 인과 발견을 다룬다. 이 주제에 대한 기존 연구는 선형성 또는 비선형성과 같은 구조적 가정, 가우스성 또는 비가우스성과 같은 분포 가정에 의존한다. 이와 달리 우리는 이러한 가정을 피하기 위해 공분산 연산자(covariance operator)를 활용한다. 함수적 가산 노이즈 모델(functional additive noise model) 하에서, 조건부 공분산 연산자의 노름(norm)을 비교하는 것에 기반하여 유효한 위상 순서(topological ordering)를 식별하기 위한 새로운 충분 조건을 제안한다. 이 식별 가능성(identifiability) 조건을 활용하여, 선형 및 비선형 모델을 포괄하는 새로운 혼합 회귀 모델을 개발한다. 변수 선택과 함께, 우리의 절차는 함수 변수(functional variable)에 대한 인과 방향성 비순환 그래프(DAG)의 추정을 산출한다. 이론적으로, 이 회귀 모델에 대한 최소자승(least-squares) 유형 이론을 개발하고, 순서 결정(order determination), 희소 회귀(sparse regression), DAG 식별에 대한 점근적 일치성(asymptotic consistency)을 도출한다. 이산 관측(discrete observation)에 기반한 계산 알고리즘을 제공한다. 시뮬레이션 데이터에 적용했을 때, 우리의 접근법은 기존 방법들 가운데 만족스러운 성능을 보인다. 뇌 유효 연결성(brain effective connectivity)에 대한 실제 데이터 예제도 제시한다.

arXiv:2609.27280v1stat.ML공통 태그 regression, Model Selection

쌍별 융합 멀티태스크 회귀

Multitask Regression with Pairwise Fusion

예측변수마다 계수 공유 방식이 달라질 수 있는 멀티태스크 회귀를 연구한다. 주어진 예측변수에 대해 많은 과제는 동일한 계수를 갖고 일부만 다를 수 있으며, 예외가 되는 과제는 다른 예측변수에서 반드시 같을 필요는 없다. 이 구조는 활성 예측변수의 수와, 각 예측변수에서 가장 흔한 값과 다른 과제 계수의 총 개수라는 두 양으로 기술한다. 계수 행렬은 과제 전반에 걸친 모든 쌍별 계수 차이에 페널티를 두어 추정하고, 예측변수 선택이 필요한 경우 추가 그룹 페널티를 부과한다. 도출된 상한과 하한은 이 두 양에 대해 동일한 의존성을 갖는다. 또한 많은 과제 집합이 하나의 전체 계수 벡터를 공유하는 더 강한 설정도 고려한다. 명시적인 표본 크기 조건 하에서, 동일한 쌍별 추정량은 해당 과제들을 정확히 풀링하면서 나머지 과제는 달라질 수 있게 한다. 시뮬레이션과 가구 에너지 데이터는 광범위한 공유와 과제별 계수 사이의 전환을 보여 준다.

arXiv:2609.27930v1stat.ME공통 태그 regression, Model Selection

가우시안 프로세스 분할을 갖는 트리의 디리클레 프로세스 혼합: 사후 수축률을 갖춘 베이지안 비모수 프레임워크

Dirichlet Process Mixtures of Trees with Gaussian Process Splits: A Bayesian Nonparametric Framework with Posterior Contraction Rate

우리는 트리-매개변수 쌍에 대해 디리클레 프로세스(Dirichlet process) 사전분포를 두는 회귀 트리의 베이지안 비모수 혼합 모델을 제안한다. 이 모델은 데이터 기반으로 앙상블 크기를 선택할 수 있게 하며, CART, BART, 랜덤 포레스트, 부스팅을 하나로 통합한다. 각 종단 노드 내 가우시안 프로세스(GP)의 사후 예측분포에 기반한 새로운 분할 규칙은 유연하고 매끄러운 결정 경계를 생성한다. 주목할 만하게도, GROW/PRUNE 이동에 대한 Metropolis–Hastings 비율에서 GP 밀도가 정확히 상쇄되어 계산적 실현 가능성이 보장된다. 사후 예측 추론을 위한 정확한 깁스 샘플러(Gibbs sampler)는 무작위 트리 순회를 통해 불확실성을 전파한다. 병렬 MPI 구현은 독립적인 트리 업데이트를 여러 프로세서에 분산하여 적정 수준의 속도 향상을 달성한다. 우리는 항등식 $h(\Theta)=0$을 통해, 참 회귀 함수의 연속성만을 가정하고 모형 오지정(misspecification)을 허용하면서 헬링거(Hellinger) 거리에서 $n^{-1/4}$ 속도의 사후 일치성을 증명한다. Friedman 벤치마크에서의 시뮬레이션은 거의 명목 수준에 가까운 커버리지(가우시안 0.94, 코시 0.92)를 보였으며, 고차원 노이즈와 두꺼운 꼬리 분포에도 강건했고 BART와 배깅된 CART보다 우수한 성능을 보였다. QSAR 독성, 범죄, 리보플라빈, 밀 유전체학, 대기질 데이터에 대한 적용은 신뢰할 수 있는 신용구간과 자동 희소성을 확인해 준다. 이 DP 혼합 모델은 정직한 불확실성 정량화를 갖춘 도전적인 회귀 문제에 대해 원리에 기반하고 강건하며 이론적으로 뒷받침되는 대안을 제공한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.