arXiv:2310.18890

Towards Generalized Multi-stage Clustering: Multi-view Self-distillation

Jiatai Wang, Zhiwei Xu, Xin Wang, Tao Li

제출 2023-10-29

원문 초록

Existing multi-stage clustering methods independently learn the salient features from multiple views and then perform the clustering task. Particularly, multi-view clustering (MVC) has attracted a lot of attention in multi-view or multi-modal scenarios. MVC aims at exploring common semantics and pseudo-labels from multiple views and clustering in a self-supervised manner. However, limited by noisy data and inadequate feature learning, such a clustering paradigm generates overconfident pseudo-labels that mis-guide the model to produce inaccurate predictions. Therefore, it is desirable to have a method that can correct this pseudo-label mistraction in multi-stage clustering to avoid the bias accumulation. To alleviate the effect of overconfident pseudo-labels and improve the generalization ability of the model, this paper proposes a novel multi-stage deep MVC framework where multi-view self-distillation (DistilMVC) is introduced to distill dark knowledge of label distribution. Specifically, in the feature subspace at different hierarchies, we explore the common semantics of multiple views through contrastive learning and obtain pseudo-labels by maximizing the mutual information between views. Additionally, a teacher network is responsible for distilling pseudo-labels into dark knowledge, supervising the student network and improving its predictive capabilities to enhance the robustness. Extensive experiments on real-world multi-view datasets show that our method has better clustering performance than state-of-the-art methods.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.27356v1cs.CV공통 태그 Clustering, Contrastive Learning

평균 Foil을 넘어: 고정 CLIP 영역 설명의 최악-Foil 특이성 감사

Beyond Mean Foils: Auditing Worst-Foil Specificity in Frozen CLIP Region Explanations

한 영역이 대상 객체와 겹치면서도 다른 클래스에 더 크게 기여할 수 있다. 고정(frozen) CLIP에서 클러스터 기반 개념 중요도(Cluster-based Concept Importance, CCI)로 선택한 영역을 검증한다. COCO와 VOC, 두 체크포인트에 걸쳐 겹침 및 평균 대비(mean-contrast) 검사를 통과한 영역 중 41.08–64.78%가 가장 강한 경쟁 클래스에 대해 실패한다. 이미지에 주석된 경쟁 클래스를 제거해도 39.69–63.64%가 여전히 실패한다. 이어 이미지당 후보 영역 8개를 모두 검증한다. 대안 영역은 COCO에서 실패 사례의 6.25–7.84%, VOC에서 27.40–31.15%에 대해 검사를 통과한다. 원래 대상 점수 하락을 $\epsilon = 0.02$ 이내로 유지할 것을 요구하면 이 비율은 0.16–0.98%로 줄어든다. 사용 가능한 영역과 대상 점수 하락 허용치가 수리(repair)를 제한하며, 허용치를 완화하면 수리 기회가 늘어난다.

arXiv:2607.22919v1cs.CV공통 태그 Clustering, Contrastive Learning

텍스트 조건 변환을 통한 임베딩 공간 제어

Controlling Embedding Spaces with Text-Conditioned Transformations

CLIP과 같은 모델의 멀티모달 임베딩 공간은 의미적 유사도 검색 및 교차 모달 제로샷 분류와 같은 강력한 기능을 가능하게 한다. 이러한 임베딩은 고수준 의미를 단일 벡터로 압축하는데, 이는 주요 객체와 같은 지배적 의미를 주로 표현하면서 카메라 각도나 색조와 같은 다른 중요한 속성을 억제하는 대가를 치른다. 우리는 이러한 속성을 명시적으로 접근 가능하게 만드는 시각적 임베딩의 텍스트 조건 변환(text-conditioned transformation)을 제안한다. 속성 카테고리에 대한 자연어 설명(예: "색상" 또는 "예술 스타일")이 주어지면, 네트워크는 지정된 속성을 강조하는 아핀 변환(affine transformation)을 생성한다. 텍스트 조건화를 통해 많은 속성을 동시에 학습할 수 있으며, 추론 시 직관적인 인터페이스를 통해 이에 접근할 수 있다. 네트워크는 변환된 임베딩을 고정된 잠재 공간(latent space)과 정렬하도록 학습되어, 재인코딩 없이 기존 대규모 임베딩을 사용한 검색을 가능하게 한다. 전체 집합에 적용할 때, 동일한 메커니즘은 다중 클러스터링(multi-clustering)과 같은 속성 분리(attribute disentanglement) 작업을 위해 잠재 공간을 변환한다. 잠재 공간에서 직접 동작함으로써, 본 방법은 임베딩 공간을 제어하기 위한 통합적이고 효율적인 프레임워크를 제공하며, 거의 제로에 가까운 추론 비용으로 속성 기반 검색 및 다중 속성 조직화 작업 모두에서 최신(state-of-the-art) 성능을 보여준다. 프로젝트 페이지: https://joefioresi718.github.io/ControlEmbed_webpage/

arXiv:2607.13805v2cs.CV공통 태그 Clustering, Contrastive Learning

AspectCLIP: 측면 가이드 일관성 정규화를 통한 CLIP 표현 공간 최적화

AspectCLIP: Optimizing CLIP Representation Space via Aspect-Guided Consistency Regularization

대조적 언어-이미지 사전학습(Contrastive Language-Image Pretraining)은 대규모 대조 학습을 통해 공유 표현 공간을 학습한다. 그러나 전역 일관성 정규화를 적용하는 기존 방법들은 핵심적인 과제를 간과한다: 이미지와 텍스트 간의 고유한 정보 비대칭성이다. 캡션은 일반적으로 이미지의 특정 측면만을 기술하므로, 유사한 시각적 내용을 가진 이미지가 완전히 상이한 텍스트 내용 및 의미 정보와 짝지어질 수 있다. 결과적으로 전역 정규화는 캡션이 서로 다른 측면을 기술하는 시각적으로 유사한 이미지들 사이에 부적절하게 제약을 가하고, 표현 공간에 의미적 왜곡을 도입한다. 우리는 이러한 1:N 구조를 존중하도록 일관성 정규화를 재구성하는 프레임워크인 AspectCLIP을 제안한다. AspectCLIP은 먼저 텍스트 유사도에 기반하여 학습 샘플을 속성 클러스터로 분할하여 측면 일관성이 있는 그룹을 식별하고, 각 클러스터 내에서는 완전한 순환 일관성을 적용하면서 클러스터 간 정규화는 프로토타입 수준의 비교로 제한한다. 이러한 측면 가이드 정규화는 이미지와 텍스트가 일관된 측면을 기술할 때만 엄격한 기하학적 정렬을 강제하고, 상이한 측면들 사이에서는 유연성을 허용한다. 하위 과제에 대한 광범위한 실험을 통해 AspectCLIP이 기존 방법을 일관되게 능가하고 더 구조화된 표현 공간을 달성함을 보여준다.

arXiv:2607.12916v1cs.LG공통 태그 Clustering, Contrastive Learning

유연하고 기하학적으로 최적인 임베딩과 더 빠른 수렴을 위한 대조적 붕괴 손실

Contrastive-Collapsed Loss for Flexible and Geometrically Optimal Embeddings and Faster Convergence

본 연구에서는 정규화되고 잘 구조화된 표현을 학습하기 위한 손실 함수인 CoCo를 제안한다. 제안된 손실은 클래스 내 붕괴와 클래스 간 대조를 촉진하면서, 신경망이 클래스 간 큰 각도 분리를 갖는 기하학적으로 최적인 임베딩을 근사할 수 있도록 충분한 유연성을 유지한다. 우리는 내적 회귀(dot regression) 및 교차 엔트로피와 같은 관련 목적 함수에 비추어 CoCo를 위치시키는 이론적 분석을 제공하며, 새로 제안된 손실이 최적 구성에 더 가까운 초기화, 더 정보가 풍부한 기울기, 그리고 클래스별 표현 붕괴를 위한 더 강한 유인을 제공함을 보인다. OpenML-CC18 벤치마크의 다양한 표 형식(tabular) 데이터셋에 대한 광범위한 실험 결과, CoCo는 커널 SVM, Random Forest, 내적 회귀, 교차 엔트로피 기반 신경망을 포함한 최신 방법들과 경쟁력 있는 성능을 달성한다. 또한 이론적 논거와 실증 분석 모두 제안 방법이 더 촘촘한 클래스 클러스터링과 더 빠른 수렴을 촉진함을 보여준다. 이러한 결과는 경쟁력 있는 예측 성능을 유지하면서 판별적 표현을 학습하기 위한 효과적인 목적 함수로서 CoCo 손실의 가치를 강조한다.

arXiv:2607.12748v1cs.CV공통 태그 Clustering, Contrastive Learning

계절 위성 영상으로부터 낙농장 부지의 약지도 시공간 후보 발견

Weakly Supervised Spatio-Temporal Candidate Discovery of Dairy Farm Sites from Seasonal Satellite Imagery

위성 영상으로부터 농장 부지를 발견하는 문제는 목초지, 경작지 경계, 도로, 건물, 계절적 식생 패턴에 걸친 농장 증거가 분산되어 있기 때문에 시공간 후보 순위 문제이다. 농장 라벨이 종종 불완전하여 완전 지도 검출이 어렵다. 본 논문은 계절 Sentinel 영상과 공개 지도 사전 정보를 이용해 낙농장 후보 군집을 순위화하는 약지도 파이프라인을 제안한다. 이 방법은 아일랜드 코크 주의 봄, 여름, 가을에 정렬된 영상 타일을 사용하며, 스펙트럼 밴드, 식생 지수, 건축 지역 지수, 목초지 채널을 포함한다. Barlow Twins 인코더는 농장 라벨 없이 다계절 타일 임베딩을 학습한다. 병렬로, 약한 OpenStreetMap 농장 사전 정보를 사전 정보와 보류 평가셋으로 분할한다. 사전 정보 특징은 농장 근접성, 계절적 목초지 증거, 여름 녹색도를 결합한 규칙 기반 타일 점수를 지원하며, 보류 평가셋 특징은 프록시 평가에만 사용된다. 규칙 점수는 지리적 근접성과 임베딩 유사도를 이용한 공간 표현 그래프에서 평활화되며, 고득점 타일이 순위화된 후보 군집으로 그룹화된다. 26,722개의 유효 타일 중 주 실행은 535개의 고신뢰도 타일을 선별하여 71개의 후보 군집을 형성한다. 상위 5개 군집은 보류 OpenStreetMap 농장 특징으로부터 500m 이내에서 0.60의 정밀도, 1000m 이내에서 0.80의 정밀도를 달성한다. 상위 10개 군집은 500m 이내에서 0.40의 정밀도, 1000m 이내에서 0.80의 정밀도를 달성한다. 결과는 계절 표현 학습과 약한 지리적 사전 정보가 대규모 위성 영상 컬렉션을 인간 검토를 위한 소형 후보 집합으로 축소할 수 있음을 보여준다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.