arXiv:1707.09688

Consistent Nonparametric Different-Feature Selection via the Sparsest $k$-Subgraph Problem

Satoshi Hara, Takayuki Katsuki, Hiroki Yanagisawa, Masaaki Imaizumi, Takafumi Ono, Ryo Okamoto, Shigeki Takeuchi

제출 2017-07-31

원문 초록

Two-sample feature selection is the problem of finding features that describe a difference between two probability distributions, which is a ubiquitous problem in both scientific and engineering studies. However, existing methods have limited applicability because of their restrictive assumptions on data distributoins or computational difficulty. In this paper, we resolve these difficulties by formulating the problem as a sparsest $k$-subgraph problem. The proposed method is nonparametric and does not assume any specific parametric models on the data distributions. We show that the proposed method is computationally efficient and does not require any extra computation for model selection. Moreover, we prove that the proposed method provides a consistent estimator of features under mild conditions. Our experimental results show that the proposed method outperforms the current method with regard to both accuracy and computation time.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.01539v3cs.NE공통 태그 feature selection, Model Selection

MMAO-Cls: 특징 선택과 분류기 튜닝을 동시에 수행하는 대사 다중 에이전트 최적화

MMAO-Cls: Metabolic Multi-Agent Optimization for Joint Feature Selection and Classifier Tuning

본 논문은 대사 다중 에이전트 최적화기(MMAO)가 분류 모델 선택을 위한 신뢰할 만한 외부 루프 최적화기로 기능할 수 있는지를 연구한다. 각 에이전트가 이진 특징 마스크와 분류기 하이퍼파라미터를 함께 인코딩하고, 개별 에너지, 공동 예산, 역할 변동, 생애주기 교체가 래퍼 학습의 정확도-복잡도 트레이드오프에 대응되는 혼합 공간 구현인 MMAO-Cls를 제안한다. 구현은 특징 정보 사전분포로부터 특징 예산 적응을 도출하고, 검증 보상을 부분집합의 간결성과 학습-검증 과적합 격차로 함께 정규화하여 강화되었다. 각각 3개의 시드로 7개의 표준 정형 데이터 벤치마크에서 MMAO-Cls를 평가하고, RandomSearch, GA-lite, PSO-lite, 내생적 비공유 제거 변형과 비교한다. 종합 검증 목적함수에서 MMAO-Cls는 GA-lite($0.9446$)에 이어 2위($0.9433$)이다. 보류된 테스트 성능에서는 평균 점수 $0.8882$를 달성하여 RandomSearch($0.8808$)와 GA-lite($0.8857$)를 능가하고, PSO-lite($0.8874$) 및 비공유 제거 변형($0.8900$)에는 근접하며, 비교된 모든 방법 중 보류 데이터 기준 평균 특징 부분집합이 가장 간결하다(특징 비율 $0.4881$). 쌍체 검정 결과 이러한 차이는 아직 통계적으로 유의하지 않다. 결과는 MMAO가 분류와 간결한 혼합 공간 탐색에 적용 가능함을 뒷받침하지만, 공동 공유가 보류 데이터 성능에 기여하는 정도는 해결되지 않은 채 남아 있다.

arXiv:2609.26624v2stat.ML공통 태그 feature selection, Model Selection

희소 가우시안 프로세스 회귀에서의 기저 함수 선택

On Basis Function Selection for Sparse Gaussian Process Regression

희소 가우시안 프로세스는 입력 공간 상의 고정 기저 $\{\phi_j\}$로의 적절한 전개로 커널을 대체함으로써 $O(N)$ 추론을 달성한다. 계산 예산 $M \ll N$이 주어지면, 실무자들은 관례적으로 기저를 처음 $M$개 항으로 잘라(truncate) 사용한다. 그러나 형식적 프레임워크상 데이터에 실제로 중요한 $M$개의 기저 함수만 선택하는 것을 막을 수는 없다. 이렇게 하면 신호가 없는 기저 함수에 예산을 쓰는 것을 피할 수 있지만, 후보를 순위 매기기 위한 기준이 필요하다. 우리는 기저 함수 선택 문제에 대한 정보 이론적 관점에서 도출한 세 가지 기준을 제안한다. 각 기준은 선택 시점의 서로 다른 지식 상태에 대응한다: 무-데이터(no-data) 상태, 무-사전(no-prior) 상태, 그리고 그 중간(in-between) 상태. 그런 다음 세 가지 기저 계열—Hilbert 공간 가우시안 프로세스(HSGP), 변분 푸리에 특징(VFF), 변분 inducing 구면 조화(VISH)—에 대해 여섯 개의 UCI 회귀 벤치마크에서 절단(truncation) 대비 선택(selection) 전략의 성능을 연구한다. 우리는 무-데이터 기준이 안전한 기본값이며, HSGP, VFF, VISH에 대해 절단과 동등하거나 더 나은 성능을 보이고, VISH에서는 상당한 이득을, 해당 기저 계열에 대해 최근 개발된 선택 휴리스틱 대비 개선을 보인다고 관찰한다. 데이터를 고려한 무-사전 및 중간 기준은 세 계열 중 실무에서 가장 널리 쓰이는 HSGP에 대해 절단 대비 상당한 이득을 제공한다.

arXiv:2609.27256v1stat.ME공통 태그 feature selection, Model Selection

조건부 공분산 순서화를 통한 함수적 인과 발견

Functional Causal Discovery via Conditional Covariance Ordering

본 연구는 각 노드가 확률 함수인 설정에서의 인과 발견을 다룬다. 이 주제에 대한 기존 연구는 선형성 또는 비선형성과 같은 구조적 가정, 가우스성 또는 비가우스성과 같은 분포 가정에 의존한다. 이와 달리 우리는 이러한 가정을 피하기 위해 공분산 연산자(covariance operator)를 활용한다. 함수적 가산 노이즈 모델(functional additive noise model) 하에서, 조건부 공분산 연산자의 노름(norm)을 비교하는 것에 기반하여 유효한 위상 순서(topological ordering)를 식별하기 위한 새로운 충분 조건을 제안한다. 이 식별 가능성(identifiability) 조건을 활용하여, 선형 및 비선형 모델을 포괄하는 새로운 혼합 회귀 모델을 개발한다. 변수 선택과 함께, 우리의 절차는 함수 변수(functional variable)에 대한 인과 방향성 비순환 그래프(DAG)의 추정을 산출한다. 이론적으로, 이 회귀 모델에 대한 최소자승(least-squares) 유형 이론을 개발하고, 순서 결정(order determination), 희소 회귀(sparse regression), DAG 식별에 대한 점근적 일치성(asymptotic consistency)을 도출한다. 이산 관측(discrete observation)에 기반한 계산 알고리즘을 제공한다. 시뮬레이션 데이터에 적용했을 때, 우리의 접근법은 기존 방법들 가운데 만족스러운 성능을 보인다. 뇌 유효 연결성(brain effective connectivity)에 대한 실제 데이터 예제도 제시한다.

arXiv:2609.27280v1stat.ML공통 태그 feature selection, Model Selection

쌍별 융합 멀티태스크 회귀

Multitask Regression with Pairwise Fusion

예측변수마다 계수 공유 방식이 달라질 수 있는 멀티태스크 회귀를 연구한다. 주어진 예측변수에 대해 많은 과제는 동일한 계수를 갖고 일부만 다를 수 있으며, 예외가 되는 과제는 다른 예측변수에서 반드시 같을 필요는 없다. 이 구조는 활성 예측변수의 수와, 각 예측변수에서 가장 흔한 값과 다른 과제 계수의 총 개수라는 두 양으로 기술한다. 계수 행렬은 과제 전반에 걸친 모든 쌍별 계수 차이에 페널티를 두어 추정하고, 예측변수 선택이 필요한 경우 추가 그룹 페널티를 부과한다. 도출된 상한과 하한은 이 두 양에 대해 동일한 의존성을 갖는다. 또한 많은 과제 집합이 하나의 전체 계수 벡터를 공유하는 더 강한 설정도 고려한다. 명시적인 표본 크기 조건 하에서, 동일한 쌍별 추정량은 해당 과제들을 정확히 풀링하면서 나머지 과제는 달라질 수 있게 한다. 시뮬레이션과 가구 에너지 데이터는 광범위한 공유와 과제별 계수 사이의 전환을 보여 준다.

arXiv:2609.27930v1stat.ME공통 태그 feature selection, Model Selection

가우시안 프로세스 분할을 갖는 트리의 디리클레 프로세스 혼합: 사후 수축률을 갖춘 베이지안 비모수 프레임워크

Dirichlet Process Mixtures of Trees with Gaussian Process Splits: A Bayesian Nonparametric Framework with Posterior Contraction Rate

우리는 트리-매개변수 쌍에 대해 디리클레 프로세스(Dirichlet process) 사전분포를 두는 회귀 트리의 베이지안 비모수 혼합 모델을 제안한다. 이 모델은 데이터 기반으로 앙상블 크기를 선택할 수 있게 하며, CART, BART, 랜덤 포레스트, 부스팅을 하나로 통합한다. 각 종단 노드 내 가우시안 프로세스(GP)의 사후 예측분포에 기반한 새로운 분할 규칙은 유연하고 매끄러운 결정 경계를 생성한다. 주목할 만하게도, GROW/PRUNE 이동에 대한 Metropolis–Hastings 비율에서 GP 밀도가 정확히 상쇄되어 계산적 실현 가능성이 보장된다. 사후 예측 추론을 위한 정확한 깁스 샘플러(Gibbs sampler)는 무작위 트리 순회를 통해 불확실성을 전파한다. 병렬 MPI 구현은 독립적인 트리 업데이트를 여러 프로세서에 분산하여 적정 수준의 속도 향상을 달성한다. 우리는 항등식 $h(\Theta)=0$을 통해, 참 회귀 함수의 연속성만을 가정하고 모형 오지정(misspecification)을 허용하면서 헬링거(Hellinger) 거리에서 $n^{-1/4}$ 속도의 사후 일치성을 증명한다. Friedman 벤치마크에서의 시뮬레이션은 거의 명목 수준에 가까운 커버리지(가우시안 0.94, 코시 0.92)를 보였으며, 고차원 노이즈와 두꺼운 꼬리 분포에도 강건했고 BART와 배깅된 CART보다 우수한 성능을 보였다. QSAR 독성, 범죄, 리보플라빈, 밀 유전체학, 대기질 데이터에 대한 적용은 신뢰할 수 있는 신용구간과 자동 희소성을 확인해 준다. 이 DP 혼합 모델은 정직한 불확실성 정량화를 갖춘 도전적인 회귀 문제에 대해 원리에 기반하고 강건하며 이론적으로 뒷받침되는 대안을 제공한다.

arXiv:2607.01971v1stat.ME공통 태그 feature selection, Model Selection

다중 반응변수 선형 혼합효과 모델의 모멘트 기반 선택

Moment-Based Selection of Multiresponse Linear Mixed-Effects Models

우리는 MOMENT(MOment-Based Mixed-Effects SelectioN and EsTimatioN)를 제안한다. 이는 2차 교차 모멘트 항등식을 활용하여 랜덤효과 공분산 행렬과 고정효과 계수를 선택 및 추정하는 단계적 모멘트 기반 프레임워크이다. 양반정치(positive semidefinite) 제약 하에서 대각 성분을 통해 희소성을 유도함으로써, 랜덤효과 선택 문제는 사영 경사하강법(projected gradient descent)으로 효율적으로 풀 수 있는 평활 제약 볼록 최적화 문제로 귀결된다. 또한 결합 sub-Weibull 오차 하에서 랜덤효과 선택 일치성 및 고정효과 선택 일치성을 포함한 제안 절차의 유한 표본 이론적 보장을 확립한다. 시뮬레이션 연구에서 MOMENT는 전반적으로 경쟁력 있는 성능을 보이며, 반응변수들이 상관되어 있을 때 개별 단변량 분석에 비해 실질적으로 우수한 결과를 낼 수 있다. 혈액투석 데이터셋에 대한 적용을 통해 제안 방법이 다변량 종단 데이터에 대해 해석 가능하고 유연한 접근 방식을 제공함을 보인다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.