arXiv:2608.08418v1 cs.CV

텍스트 정보를 활용한 이미지 클러스터링을 위한 심층 모달리티 공유 자기표현성 학습

Learning Deep Modality-Shared Self-Expressiveness for Image Clustering with Textual Information

Xianghan Meng, Wei He, Zhiyuan Huang, Chun-Guang Li

제출 2026-08-09

한국어 초록

텍스트 정보를 활용한 이미지 클러스터링은 비전-언어 모델(VLM)이 학습한 강력한 표현 덕분에 유망한 연구 방향으로 부상했다. 기존 방법은 일반적으로 각 이미지에 대한 텍스트 대응물을 검색한 뒤, 사전학습된 VLM에서 이어받은 이미지-텍스트 유사도 최대화 등과 같이 교차 모달 일치를 직접 강제함으로써 다중 모달 표현을 정교화한다. 그러나 이러한 전략은 각 모달리티 내부의 고유 구조를 명시적으로 모델링하지 않은 채 이질적 표현을 모달리티 간에 정렬하므로, 신뢰할 수 없는 정렬을 초래하거나 클러스터링에 중요한 모달리티별 구조를 왜곡할 수 있다. 본 논문에서는 모달리티 공유 자기표현 모델을 통해 교차 모달 구조를 발견하고, 동시에 모달리티별 부분공간들의 합집합에 부합하는 구조화된 표현을 학습하는 단순하지만 원칙적인 접근법인 심층 모달리티 공유 자기표현 모델(DeepMORSE)을 제안한다. 또한 모달리티 공유 자기표현 계수가 클래스 간 노이즈를 억제하여 부분공간 보존(subspace-preserving) 해로 향함을 이론적으로 정당화하고, 미니배치 최적화 절차가 자기표현 모델에 암묵적 정규화를 도입함을 보인다. DeepMORSE를 널리 사용되는 6개 이미지 클러스터링 벤치마크에서 평가한 결과, UCF-101, DTD-47, ImageNet-Dogs 데이터셋에서 3%를 넘는 성능 향상을 관찰했다. 또한 작업별 손실이나 후처리 없이도 이미지 검색 및 제로샷 분류 같은 다운스트림 작업에서 state-of-the-art 성능을 달성함으로써 학습된 표현의 강한 전이 가능성을 입증했다. 코드는 https://github.com/mengxianghan123/DeepMORSE 에서 제공된다.

원문 초록

Leveraging textual information for image clustering has emerged as a promising direction, largely owing to the powerful representations learned by Vision-Language Models (VLMs). Existing approaches typically retrieve a textual counterpart for each image and then refine multimodal representations by directly enforcing cross-modal agreement, e.g., maximizing image-text similarity inherited from pretrained VLMs. However, such a strategy aligns heterogeneous representations across modalities without explicitly modeling the intrinsic structure within each modality and thus might yield unreliable alignment or distort modality-specific structures that are crucial for clustering. In this paper, we propose a simple but principled approach, termed deep modality-shared self-expressive model (DeepMORSE), which discovers cross-modal structures via a modality-shared self-expressive model and simultaneously learns structured representations that conform to a union of modality-specific subspaces. Moreover, we theoretically justify that the modality-shared self-expressive coefficients suppress inter-class noise towards a subspace-preserving solution, and show that mini-batch optimization procedure introduces an implicit regularization onto the self-expressive model. We evaluate our DeepMORSE on six widely used image clustering benchmarks and observe performance improvements exceeding 3% on the UCF-101, DTD-47, and ImageNet-Dogs datasets. In addition, we demonstrate the strong transferability of the learned representations by achieving state-of-the-art performance on downstream tasks such as image retrieval and zero-shot classification---without requiring any task-specific losses or post-processing. The code is available at: https://github.com/mengxianghan123/DeepMORSE.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2608.08418v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.