arXiv:2606.21873v1 cs.IT

2성분 서브 가우시안 혼합 모델을 위한 1비트 클러스터링

One-Bit Clustering for Two Component Sub-Gaussian Mixture Models

Junren Chen, Yun Yang

제출 2026-06-20

한국어 초록

클러스터링은 통계학과 기계학습에서의 기본적인 문제이다. 우리는 2성분 서브 가우시안 혼합 모델에 대한 최초의 1비트 클러스터링 방법을 제안한다. 이 방법은 디더(dithered) 양자화기를 통해 얻은 각 샘플 항목당 단 1비트만을 사용한다. 클러스터 중심에 대한 완만한 비첨예(non-spikiness) 조건 하에서, Lloyd 알고리즘의 변형이 양자화되지 않은 설정에서의 것과 비교 가능한 신호 대 잡음비(signal-to-noise ratio)에 대해 지수적으로 감쇠하는 오분류율(misclassification rate)을 달성함을 보인다. 이 결과는 더 나아가, 양자화되지 않은 데이터에 대한 최적 임계값을 로그 계수만큼만 초과하는 명시적 분리(separation) 조건 하에서 정확한 복원(exact recovery)을 함의한다. 차원 $p$가 충분히 클 때, 비첨예 조건은 양자화 이전에 Haar 분포 행렬을 사용한 무작위 회전을 적용함으로써 강제할 수 있다. 특히, $n$을 표본 크기(sample size)라 할 때, 부분 복원(partial recovery)에서는 $p \gtrsim 1$일 때, 정확한 복원(exact recovery)에서는 $p \gtrsim \log n \log\log n$일 때 높은 확률로 성립한다. 우리는 또한 미니맥스(minimax) 하한을 확립하여, 오분류율과 분리 조건이 일반적으로 날카로운 상수(sharp constants)를 갖음을 보인다. 수치 결과를 제시하여 이론을 뒷받침하고 제안 방법의 효과를 입증한다.

원문 초록

Clustering is a fundamental problem in statistics and machine learning. We propose the first one-bit clustering method for two-component sub-Gaussian mixture models. The method uses only one bit per entry of each sample obtained via a dithered quantizer. Under a mild non-spikiness condition on the cluster centers, we show that a variant of Lloyd's algorithm achieves a misclassification rate that decays exponentially with a signal-to-noise ratio comparable to that in the unquantized setting. This result further implies exact recovery under an explicit separation condition, which exceeds the optimal threshold for unquantized data by only a logarithmic factor. When the dimension $p$ is sufficiently large, the non-spikiness condition can be enforced by applying a random rotation using a Haar distributed matrix prior to quantization. In particular, it holds with high probability when $p \gtrsim 1$ for partial recovery and $p \gtrsim \log n \log\log n$ for exact recovery, where $n$ is the sample size. We also establish a minimax lower bound, showing that the misclassification rate and separation condition exhibit sharp constants in general. Numerical results are provided to corroborate the theory and demonstrate the efficacy of the proposed method.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.21873v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.01533v1cs.AI공통 태그 Clustering, Quantization

흑백의 이분법을 넘어: 그래프 기반 시맨틱 ID(GrIS)를 통한 시맨틱 및 협업 신호의 균형

Neither Black nor White: Balancing Semantic and Collaborative Signals with Graph-Informed Semantic IDs (GrIS)

생성형 추천을 위한 시맨틱 ID(Semantic ID, SID)에 관한 기존 연구들은 SID 구축을 표현 학습(representation learning) 문제로 취급하여, 아이템을 양자화된 잠재 공간으로 인코딩하고 코드를 읽어내는 방식을 취합니다. 본 논문에서는 이러한 관점이 본질적이지 않다고 주장합니다. SID 구축은 본질적으로 재귀적 클러스터링(recursive clustering) 문제이며, 이렇게 정의하면 클러스터링할 자연스러운 대상은 노드가 시맨틱 콘텐츠를 담고 에지가 협업 신호(collaborative signal)를 전달하는 그래프가 됩니다. 즉, SID 할당은 계층적 그래프 분할(hierarchical graph partition)이 됩니다. 이러한 재구성을 통해 기존 접근 방식을 대체하기보다는 포괄하는 통합 프레임워크인 그래프 기반 시맨틱 ID(Graph-Informed Semantic IDs, GrIS)를 도출합니다. RQ-VAE 및 RQ-KMeans는 그래프가 비어 있는 특수한 경우로 환원되며, 이는 콘텐츠 전용 양자화가 지금까지 하나로 뭉쳐져 있던 두 축인 그래프 구축과 재귀적 분할 알고리즘으로 이루어진 더 큰 설계 공간의 한 단면에 불과함을 보여줍니다. 본 연구에서는 두 가지 대조적인 구현체를 탐색합니다. 하나는 미분 가능한 그래프 풀링(pooling)을 통해 계층적 할당을 수행하는 RecDMoN이고, 다른 하나는 그래프 인식 아이템 표현과 그래프 재구성 목적 함수를 통해 RQ-VAE를 확장하는 RQ-GAE입니다. 여러 실제 데이터셋에서 GrIS는 협업 필터링(CF) 인식 최신 기술(SOTA) 대비 일관되게 향상된 성능을 보여주며, Hit@10에서 최대 +52%의 성능 향상을 달성합니다. 그래프 구축과 분할이 명시적이고 개별적으로 구성 가능한 컴포넌트이기 때문에, 두 축 중 어느 한쪽의 개선점이라도 결합하여 체계적으로 평가할 수 있습니다.

arXiv:2609.28262v1cs.CV공통 태그 Clustering, Quantization

RAMP: 엣지 CPU 비전 모델을 위한 강건한 적응형 혼합 정밀도 양자화

RAMP: Robust Adaptive Mixed-Precision Quantization for Edge CPU Vision Models

엣지 CPU에 심층 학습 모델을 배포할 때는 계산 및 메모리 제약이 병목이 된다. 혼합 정밀도 양자화는 정확도를 유지하면서 추론 지연을 줄일 수 있다고 기대된다. 그러나 양자화는 층 유형마다 서로 다르게 영향을 미치므로, 정확도 손실이 최소화되고 지연 감소가 최대화되는 위치를 찾는 것이 중요하며, 그 효과는 전체 배포에 걸쳐 누적되어 상당한 이득 또는 허용 불가능한 과제 성능 저하로 이어진다. 이러한 식별은 민감도 지표, 즉 모든 후보 정책의 과제 정확도를 평가하지 않고 층별 열화를 추정하는 대리 지표에 의존한다. 그럼에도 널리 쓰이는 지표는 최신 아키텍처에서 체계적으로 실패한다. 우리는 서로 뚜렷이 다른 네 개의 신경망에 걸친 층별 INT8 양자화에 대한 13개 민감도 지표의 체계적 실증 연구를 제시하고, 그로부터 얻은 정책을 두 ARM64 플랫폼에서 검증한다. 그래디언트 기반 민감도 방법은 8개 모델-하드웨어 구성 중 4개에서 실패하고, 가중치 기반 통계는 2개에서 실패한다. 반면 Jensen-Shannon Divergence는 치명적 실패가 전혀 없으며, 안전하게 양자화할 수 없는 층을 안정적으로 분리한다. 민감도 지표만으로는 정책이 정의되지 않으며, 그 단계에 흔히 쓰이는 고정 임계값은 최신 아키텍처의 고도로 치우친 분포에서 취약하다. 우리는 K-Means 클러스터링으로 이를 해결하여 거의 무손실 정확도와 전체 정밀도 모델 대비 평균 $1.81\times$ 속도 향상을 달성한다. 마지막으로, 민감도와 관계없이 속도 향상이 미미한 층을 양자화에서 제외하는 것이 역효과를 낼 수 있음을 밝힌다. 이는 계산 그래프 단편화를 유발하고 연산자 융합(operator fusion)을 비활성화하기 때문이다. 우리 결과는 GPU 접근이나 그래디언트 계산 없이 이질적 엣지 CPU에 양자화된 비전 모델을 배포하는 실무자와 연구자에게 구체적인 할당 정책을 제공한다.

arXiv:2607.14297v1stat.ME공통 태그 Clustering, mixture models

비대칭 쌍선형 요인 분석기의 절약적 혼합 모형

Parsimonious Mixtures of Skewed Bilinear Factor Analyzers

비대칭 무작위 행렬을 군집화하는 혼합 모형은 차원 축소를 수행하지 않을 경우 과매개변수화 문제를 자주 겪을 수 있다. 쌍선형 요인 분석기를 사용하더라도, 군집 간 매개변수에 제약을 가함으로써 추가적인 매개변수 축소를 달성할 수 있다. 본 원고에서는 비대칭 행렬 변량 쌍선형 요인 분석기 혼합 모형에 대한 256개 모형으로 구성된 절약적 모형군을 제안하며, 특히 skew-t 분포의 경우를 다룬다. 매개변수 추정을 위한 AECM 알고리즘이 상세히 논의된다. 또한 광범위한 시뮬레이션이 수행되었으며, 본 방법은 MNIST 데이터셋과 Olivetti faces 데이터셋에 적용된다.

arXiv:2607.21426v2cs.LG공통 태그 Clustering

건설적·협력적 멀티태스킹을 위한 의미 인식 태스크 클러스터링

Semantic-Aware Task Clustering for Constructive and Cooperative Multi-Tasking

협력적 멀티태스크 의미 통신(cooperative multi-task semantic communication, CMT-SemCom)은 공유 표현을 활용하여 태스크 실행 성능을 향상시킨다. 그러나 [1]에서 보인 바와 같이, 협력적 멀티태스킹은 태스크 간 의미적 관계에 따라 건설적일 수도 있고 파괴적일 수도 있다. 건설적 협력을 보장하기 위해, 우리는 CMT-SemCom을 위한 의미 인식 태스크 클러스터링 방법을 제안한다. 짧은 초기 학습 단계 이후 의미적으로 정렬된 태스크가 한 번 클러스터링되고, 이후 발견된 그룹 내에서만 엔드투엔드(end-to-end, E2E) 공동 학습이 수행되는 순차적 다단계 최적화 문제를 수식화했다. 구체적으로, 이 문제는 두 단계로 분해된다: (i) 계층적 밀도 기반 공간 클러스터링(hierarchical density-based spatial clustering)을 활용한 의미 클러스터링 문제, (ii) 클러스터 내 E2E CMT-SemCom 학습 문제. 시뮬레이션 결과는 제안된 프레임워크가 파괴적 협력과 부정적 전이(negative transfer)를 효과적으로 완화하며, 클러스터링되지 않은 멀티태스킹 및 개별 학습 기준선 대비 정확도 향상을 달성함을 보여준다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.