Supervising Unsupervised Learning
원문 초록
We introduce a framework to leverage knowledge acquired from a repository of (heterogeneous) supervised datasets to new unsupervised datasets. Our perspective avoids the subjectivity inherent in unsupervised learning by reducing it to supervised learning, and provides a principled way to evaluate unsupervised algorithms. We demonstrate the versatility of our framework via simple agnostic bounds on unsupervised problems. In the context of clustering, our approach helps choose the number of clusters and the clustering algorithm, remove the outliers, and provably circumvent the Kleinberg's impossibility result. Experimental results across hundreds of problems demonstrate improved performance on unsupervised data with simple algorithms, despite the fact that our problems come from heterogeneous domains. Additionally, our framework lets us leverage deep networks to learn common features from many such small datasets, and perform zero shot learning.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
평균 Foil을 넘어: 고정 CLIP 영역 설명의 최악-Foil 특이성 감사
Beyond Mean Foils: Auditing Worst-Foil Specificity in Frozen CLIP Region Explanations
한 영역이 대상 객체와 겹치면서도 다른 클래스에 더 크게 기여할 수 있다. 고정(frozen) CLIP에서 클러스터 기반 개념 중요도(Cluster-based Concept Importance, CCI)로 선택한 영역을 검증한다. COCO와 VOC, 두 체크포인트에 걸쳐 겹침 및 평균 대비(mean-contrast) 검사를 통과한 영역 중 41.08–64.78%가 가장 강한 경쟁 클래스에 대해 실패한다. 이미지에 주석된 경쟁 클래스를 제거해도 39.69–63.64%가 여전히 실패한다. 이어 이미지당 후보 영역 8개를 모두 검증한다. 대안 영역은 COCO에서 실패 사례의 6.25–7.84%, VOC에서 27.40–31.15%에 대해 검사를 통과한다. 원래 대상 점수 하락을 $\epsilon = 0.02$ 이내로 유지할 것을 요구하면 이 비율은 0.16–0.98%로 줄어든다. 사용 가능한 영역과 대상 점수 하락 허용치가 수리(repair)를 제한하며, 허용치를 완화하면 수리 기회가 늘어난다.
텍스트 조건 변환을 통한 임베딩 공간 제어
Controlling Embedding Spaces with Text-Conditioned Transformations
CLIP과 같은 모델의 멀티모달 임베딩 공간은 의미적 유사도 검색 및 교차 모달 제로샷 분류와 같은 강력한 기능을 가능하게 한다. 이러한 임베딩은 고수준 의미를 단일 벡터로 압축하는데, 이는 주요 객체와 같은 지배적 의미를 주로 표현하면서 카메라 각도나 색조와 같은 다른 중요한 속성을 억제하는 대가를 치른다. 우리는 이러한 속성을 명시적으로 접근 가능하게 만드는 시각적 임베딩의 텍스트 조건 변환(text-conditioned transformation)을 제안한다. 속성 카테고리에 대한 자연어 설명(예: "색상" 또는 "예술 스타일")이 주어지면, 네트워크는 지정된 속성을 강조하는 아핀 변환(affine transformation)을 생성한다. 텍스트 조건화를 통해 많은 속성을 동시에 학습할 수 있으며, 추론 시 직관적인 인터페이스를 통해 이에 접근할 수 있다. 네트워크는 변환된 임베딩을 고정된 잠재 공간(latent space)과 정렬하도록 학습되어, 재인코딩 없이 기존 대규모 임베딩을 사용한 검색을 가능하게 한다. 전체 집합에 적용할 때, 동일한 메커니즘은 다중 클러스터링(multi-clustering)과 같은 속성 분리(attribute disentanglement) 작업을 위해 잠재 공간을 변환한다. 잠재 공간에서 직접 동작함으로써, 본 방법은 임베딩 공간을 제어하기 위한 통합적이고 효율적인 프레임워크를 제공하며, 거의 제로에 가까운 추론 비용으로 속성 기반 검색 및 다중 속성 조직화 작업 모두에서 최신(state-of-the-art) 성능을 보여준다. 프로젝트 페이지: https://joefioresi718.github.io/ControlEmbed_webpage/
Khondo: 방글라 양식 문서 패킷 분할을 위한 멀티모달 벤치마크
Khondo: A Multimodal Benchmark for Document Packet Splitting of Bangla Forms
문서 패킷(여러 문서가 하나의 파일로 연결된 것)은 정부 및 행정 업무 흐름에서 흔하지만, 이를 구성 문서로 분할하는 것은 특히 저자원 언어에서 어렵다. 우리는 Khondo(방글라어로 분할/세그먼트를 의미)를 소개한다. 이는 방글라데시 정부 양식에 대한 문서 패킷 분할의 첫 번째 벤치마크이다. 기존의 영어 및 OCR 텍스트 기반 데이터셋과 달리, Khondo는 이중언어(방글라–영어)이며 비전 네이티브(vision-native)로, 모델이 페이지 이미지에 직접 작동한다. 순차적 연결부터 완전 무작위 섞기까지 다섯 가지 연결 방식을 14개 행정 도메인에 걸쳐 포함하며, 정답 경계, 도메인 유형, 페이지 순서를 제공한다. 멀티모달 대규모 언어 모델(MLLM)의 제로샷 평가는 페이지를 원본 문서로 클러스터링하는 데는 비교적 잘 수행하지만, 섞인 후 원래 페이지 순서를 복원하는 데는 어려움을 겪는다는 것을 보여준다. 이 어려움의 원인을 분리하기 위해, 프롬프트 지시를 바꾸고 이어서 패킷 언어를 바꾸는 두 가지 통제 분석을 수행한다. 둘 다 주로 클러스터링보다는 순서 정렬에 영향을 미친다: (a) 명시적 페이지 순서 지시는 필요하지만 충분하지 않으며, (b) 영어 패킷이 방글라 패킷보다 더 안정적으로 순서가 정렬되어, 페이지 배열이 지배적 과제이고 언어는 부차적이지만 일관된 요인임을 보여준다. Khondo는 페이지 순서 재구성을 비전 기반 저자원 문서 이해의 핵심 미해결 문제로 확립하고, 이를 해결하기 위한 진전을 측정할 수 있는 통제된 벤치마크를 제공한다. 데이터셋과 코드는 https://huggingface.co/datasets/Mausul/khondo 에서 이용할 수 있다.
공간 유전자 지도화를 통한 단일세포 생물학을 위한 비전 기반 모델
A vision foundation model for single-cell biology via spatial gene cartography
대부분의 단일세포 기반 모델은 언어 모델에서 파생되어 각 세포를 유전자 토큰의 시퀀스로 표현한다. 이는 유전자 간 관계와 종종 그 발현 크기를 버린다. 우리는 scVision을 제안한다. 이는 대신 각 세포를 연속 이미지로 렌더링하는 비전 기반 모델이다. 최적 수송(optimal transport)을 사용해 공발현 유전자가 공간적으로 이웃하도록 단일 공유·전조직(pan-tissue) 레이아웃의 고정 위치에 유전자를 배치하고, 전사체(transcriptome)를 유전자 프로그램이 국소 텍스처로 나타나는 이미지로 바꾼다. 7,200만 개의 인간 세포에 대해 마스크드 이미지 모델링(masked image modelling)으로 비전 트랜스포머를 사전학습하고, 미세조정 없이 고정된 인코더를 사용한다. 6개의 독립적 보류(hold-out) 연구에 대한 제로샷 평가에서 scVision은 가장 정확한 세포 유형 주석기이며, 감독 없이 유전자 프로그램을 복원해 기존 기반 모델과 고전적 베이스라인보다 앞선다. 다중 연구 통합에서는 배치 레이블을 한 번도 보지 않았음에도 가장 강력한 토큰 기반 모델과 맞먹는 성능을 내면서 가장 많은 생물학적 구조를 보존한다. 네트워크를 고정한 채 유전자 레이아웃을 치환하면 비전 트랜스포머 자체를 제거하는 것보다 정확도가 더 크게 떨어져, 신호를 담는 것은 네트워크가 아니라 생물학적으로 의미 있는 위치임을 보여준다. 발현 크기와 유전자 관계를 보존함으로써 scVision은 단일세포 표현 학습을 비전 문제로 재구성하여, 이를 컴퓨터 비전(CV)의 성숙한 방법들과 연결한다.
Solving non-uniqueness in agglomerative hierarchical clustering using multidendrograms
DroneGround: 합성 데이터와 그라운디드 비전-언어 모델을 활용한 오픈 보캐블러리 드론 탑재체 특성 분석
DroneGround: Open-Vocabulary Drone Payload Characterization Using Synthetic Data and Grounded Vision-Language Models
자동화된 드론 감시는 공공 안전, 중요 인프라 보호 및 제한 공역 모니터링을 위해 점점 더 중요해지고 있습니다. 기존의 비전 기반 시스템은 드론 탐지 및 추적에서 뛰어난 성능을 달성하지만, 원거리 촬영 조건에서는 주석이 달린 실제 데이터셋의 부족과 배포 시 직면하는 상당한 분포 변화(distribution shift)로 인해 신뢰할 수 있는 탑재체(payload) 특성 분석이 여전히 매우 어려운 과제로 남아 있습니다. 기존 접근법들은 탑재체 특성 분석을 닫힌 집합(closed-set) 객체 검출 문제로 정식화하여, 이전에 보지 못한 탑재체를 인식하고 학습 분포를 넘어 일반화하는 능력을 제한합니다. 이러한 문제를 해결하기 위해, 본 논문에서는 Unreal Engine 5와 Cosys-AirSim을 사용하여 사실적인(photorealistic) 합성 드론-탑재체 데이터셋을 생성하고, 강력한 오픈 보캐블러리(open-vocabulary) 탑재체 분석을 위한 2단계 프레임워크인 DroneGround(Grounded Vision-Language Payload Characterization)를 제안합니다. DroneGround는 먼저 YOLO26s 검출기를 사용하여 드론의 위치를 특정하고 드론 중심의 이미지 크롭을 추출한 다음, LoRA 파인튜닝된 PaliGemma 비전-언어 모델을 활용해 탐지된 드론 및 부착된 탑재체에 대한 시맨틱 설명을 생성함으로써 사전에 정의된 범주를 넘어서는 오픈 보캐블러리 탑재체 특성 분석을 가능하게 합니다. 또한 폐색 기반 그라운딩(grounding) 모듈은 생성된 설명에 기여하는 이미지 영역을 식별하여 해석 가능한 탑재체 위치 추정 기능을 제공합니다. 합성 및 실제 드론 영상 모두에 대한 광범위한 실험을 통해 DroneGround가 합성-실제(synthetic-to-real) 분포 변화 하에서 견고성을 크게 향상시켜 F1-점수를 82.5%에서 96.3%로 높여 기존의 닫힌 집합 탑재체 검출기를 능가하는 동시에, 이전에 보지 못한 탑재체 범주에 대해서도 훨씬 더 우수한 일반화 성능(F1 80.4% 대 42.7%)을 달성함을 입증합니다. 데이터셋과 코드는 요청 시 공개될 예정입니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.