arXiv:2609.31019v2 stat.CO

로버스트 군집별 회귀에서 트리밍 후 그룹 복원과 레벨-프리 플래깅

Group recovery after trimming, and level-free flagging, in robust clusterwise regression

Samir Orujov

제출 2026-09-25

저자 비고

arXiv Comments

27 pages, 2 figures; supplementary material (54 pages) as an ancillary file. Version 2 is a rewritten paper with a new title. Code and raw results: https://github.com/sorujov/eesp, doi:10.5281/zenodo.23046086

한국어 초록

로버스트 군집별 회귀(clusterwise regression)를 위한 트리밍(trimming) 방법은 데이터 중 고정된 비율을 버린다. 레벨이 너무 낮으면 피팅(fit)이 깨지고, 레벨이 너무 넉넉하면 작은 그룹이 트리밍되어 사라질 수 있다. 우리는 먼저 임의의 트리밍 또는 플래깅(flagging) 방법 뒤에 이어질 수 있는 그룹 복원(group-recovery) 단계를 제안한다: 이 단계는 버려진 데이터 포인트들 중에서 직선을 탐색하고, 그 직선 근처의 점들이 띠(band) 형태가 아니라 피크(peak) 형태를 이루는지를 검정하며, 가우시안(Gaussian) 그룹과 균등(uniform) 잡음의 가능도가 베이지안 정보 기준(BIC)과 유사한 마진만큼 개선될 때 해당 직선을 하나의 그룹으로 복원한다. 시뮬레이션에서 이 방법은 그룹 크기가 서로 다른 경우 넉넉한 TCLUST-REG 레벨의 실패를 복구했지만, 그룹이 세 개 또는 네 개인 경우에는 그렇지 못했다. 두 번째 제안인 ESF(exact-subsample flagging, 정확 부분표본 플래깅)는 트리밍 레벨이 없는 플래깅 절차로서, 작은 부분표본(subsample)에 대해 군집별 최소제곱(least-squares) 문제를 정확히 풀고, 최적 피팅에서 멀리 떨어진 데이터 포인트를 플래그(flag)로 표시한 뒤, 이후의 부분표본은 나머지 데이터에서 뽑는다. 레벨 대신 두 개의 상수가 사용되는데, 하나는 가장 작은 그룹 비율의 하한으로부터 설정되는 부분표본 크기이고, 다른 하나는 플래그된 집합의 상한(cap)이다. 이는 오염(contamination) 정도에 대해 아무것도 알려지지 않은 데이터를 위한 방법이다: 고정 레벨 0.30의 TCLUST-REG에 재가중(reweighting)과 복원 단계를 적용한 경우, 이상치(outlier)가 전체의 5분의 1까지인 범위에서는 평균적으로 ESF와 정확도가 비슷했고, 그 이상에서는 더 높은 레벨이 더 정확했다. 플래그된 비율은 오차(error)가 가우시안 분포에 가까울 때만 오염 정도를 추정한다. 요금제가 알려진 택시 요금(taxi fares) 데이터에서는 ESF가 모든 샘플에서 두 요금제 모두를 찾아냈다.

원문 초록

Trimming methods for robust clusterwise regression discard a fixed fraction of the data. Too low a level breaks the fit; too generous a level can trim away a small group. We first propose a group-recovery step that can follow any trimming or flagging method: it searches the discarded units for a line, tests whether those near it form a peak rather than a band, and restores the line as a group when the likelihood of Gaussian groups plus uniform noise improves by a margin like that of the Bayesian information criterion. In simulations it repaired the failures of a generous TCLUST-REG level with unequal groups, but not with three or four groups. The second proposal, ESF (exact-subsample flagging), is a flagging procedure without a trimming level: it solves the clusterwise least-squares problem exactly on small subsamples, flags units far from the best fit, and draws later subsamples from the rest. Two constants stand in for the level: a subsample size, set from a lower bound on the smallest group proportion, and a cap on the flagged set. It is meant for data about whose contamination nothing is known: TCLUST-REG at the fixed level 0.30, followed by reweighting and the recovery step, was as accurate as ESF on average up to a fifth of outliers, and higher levels were more accurate beyond. The flagged fraction estimates the contamination only when the errors are close to Gaussian. On taxi fares with known tariffs, ESF found both in every sample.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2609.31019v2

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.