arXiv:1812.09225

Learning Representations from Dendrograms

Morteza Haghir Chehreghani, Mostafa Haghir Chehreghani

제출 2018-12-21

원문 초록

We propose unsupervised representation learning and feature extraction from dendrograms. The commonly used Minimax distance measures correspond to building a dendrogram with single linkage criterion, with defining specific forms of a level function and a distance function over that. Therefore, we extend this method to arbitrary dendrograms. We develop a generalized framework wherein different distance measures and representations can be inferred from different types of dendrograms, level functions and distance functions. Via an appropriate embedding, we compute a vector-based representation of the inferred distances, in order to enable many numerical machine learning algorithms to employ such distances. Then, to address the model selection problem, we study the aggregation of different dendrogram-based distances respectively in solution space and in representation space in the spirit of deep representations. In the first approach, for example for the clustering problem, we build a graph with positive and negative edge weights according to the consistency of the clustering labels of different objects among different solutions, in the context of ensemble methods. Then, we use an efficient variant of correlation clustering to produce the final clusters. In the second approach, we investigate the combination of different distances and features sequentially in the spirit of multi-layered architectures to obtain the final features. Finally, we demonstrate the effectiveness of our approach via several numerical studies.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.02755v1cs.CV공통 태그 Clustering, Representation Learning

FiberGeoText: 천부 백질의 집단 수준 체계화를 위한 비전-언어 모델

FiberGeoText: A Vision-Language Model for Population- Level Organization of Superficial White Matter

생애 전반에 걸친 인지 및 뇌 질환에 중요한 뇌 영역인 천부 백질(SWM, superficial white matter)에는 풍부한 단거리 연합 섬유가 포함되어 있으나, 짧은 궤적과 변동성이 큰 대뇌 피질 주름으로 인해 개체 간 대응이 어려워 그 구조가 완전히 규명되지 않았습니다. 해부학적으로 상응하는 연결은 개체 간에 공간적 위치가 다를 수 있으므로 기하학적 근접성만으로는 적절히 정의되지 않을 수 있습니다. 본 연구에서는 초고해상도 확산 MRI로부터 재구성된 단거리 천부 백질(SWM) 신경로(streamline)를 집단 수준의 클러스터로 체계화하기 위한 비전-언어(vision-language) 모델(VLM)인 FiberGeoText(FGT)를 소개합니다. FGT는 각 신경로의 세 가지 상호보완적 특성인 3차원 궤적, 피질 해부학적 컨텍스트, 형태를 공동으로 표현합니다. 여러 구획화(parcellation) 체계의 피질 종단점 정보는 텍스트로 표현되고 사전학습된 대규모 언어 모델(LLM)을 사용하여 인코딩되므로, 이종의 해부학적 기술이 공통의 연속적 표현에 기여할 수 있습니다. 밀리미터 미만인 0.76mm 확산 MRI 데이터를 통해 FGT를 평가했습니다. 최신(SOTA) 방법들과 비교했을 때, FGT는 훨씬 더 높은 피질 구획 일관성, 클러스터 내 형태 일관성, 클러스터 크기 일관성, 피험자 간 대응성을 달성했습니다. 또한 학습된 모델은 학습된 5,000개 클러스터 중 평균 96.7%를 복구하며 미확인 피험자에 대해서도 우수한 일반화 성능을 보였고, 학습 데이터와 테스트 데이터 간의 클러스터 구조 일관성도 높았습니다. 이러한 결과는 VLM 모델을 통해 멀티모달 딥 임베딩(embedding)을 학습함으로써 기하학적, 해부학적, 형태 정보를 통합하는 것이 개체 간 해부학적 변동성에도 불구하고 집단 수준에서 일관된 SWM 구조를 강건하게 학습할 수 있음을 입증합니다.

arXiv:2610.01533v1cs.AI공통 태그 Clustering, Representation Learning

흑백의 이분법을 넘어: 그래프 기반 시맨틱 ID(GrIS)를 통한 시맨틱 및 협업 신호의 균형

Neither Black nor White: Balancing Semantic and Collaborative Signals with Graph-Informed Semantic IDs (GrIS)

생성형 추천을 위한 시맨틱 ID(Semantic ID, SID)에 관한 기존 연구들은 SID 구축을 표현 학습(representation learning) 문제로 취급하여, 아이템을 양자화된 잠재 공간으로 인코딩하고 코드를 읽어내는 방식을 취합니다. 본 논문에서는 이러한 관점이 본질적이지 않다고 주장합니다. SID 구축은 본질적으로 재귀적 클러스터링(recursive clustering) 문제이며, 이렇게 정의하면 클러스터링할 자연스러운 대상은 노드가 시맨틱 콘텐츠를 담고 에지가 협업 신호(collaborative signal)를 전달하는 그래프가 됩니다. 즉, SID 할당은 계층적 그래프 분할(hierarchical graph partition)이 됩니다. 이러한 재구성을 통해 기존 접근 방식을 대체하기보다는 포괄하는 통합 프레임워크인 그래프 기반 시맨틱 ID(Graph-Informed Semantic IDs, GrIS)를 도출합니다. RQ-VAE 및 RQ-KMeans는 그래프가 비어 있는 특수한 경우로 환원되며, 이는 콘텐츠 전용 양자화가 지금까지 하나로 뭉쳐져 있던 두 축인 그래프 구축과 재귀적 분할 알고리즘으로 이루어진 더 큰 설계 공간의 한 단면에 불과함을 보여줍니다. 본 연구에서는 두 가지 대조적인 구현체를 탐색합니다. 하나는 미분 가능한 그래프 풀링(pooling)을 통해 계층적 할당을 수행하는 RecDMoN이고, 다른 하나는 그래프 인식 아이템 표현과 그래프 재구성 목적 함수를 통해 RQ-VAE를 확장하는 RQ-GAE입니다. 여러 실제 데이터셋에서 GrIS는 협업 필터링(CF) 인식 최신 기술(SOTA) 대비 일관되게 향상된 성능을 보여주며, Hit@10에서 최대 +52%의 성능 향상을 달성합니다. 그래프 구축과 분할이 명시적이고 개별적으로 구성 가능한 컴포넌트이기 때문에, 두 축 중 어느 한쪽의 개선점이라도 결합하여 체계적으로 평가할 수 있습니다.

arXiv:2610.00414v1cs.CV공통 태그 Clustering, Representation Learning

이미지 잠재 공간에서 퍼지 규칙으로: 위장관 파운데이션 모델의 해석 가능한 분석

From Image Latent Space to Fuzzy Rules: Interpretable Analysis of Gastrointestinal Foundation Model

대규모 데이터셋으로 사전학습된 파운데이션 모델은 의료 영상 과제로의 강력한 전이 가능성을 보여준다. 그러나 이들의 잠재 표현이 임상적으로 관련 있는 정보를 어떻게 인코딩하는지 이해하는 것은 안전이 중요한(safety-critical) 영역에서 여전히 미해결 과제로 남아 있다. 본 연구는 사전학습된 파운데이션 모델의 내부 레이어가 생성하는 패치 수준 특징을 어떠한 미세조정 없이 해석하는 프로토타입 기반 퍼지 규칙 프레임워크를 제안한다. 클래스별 프로토타입은 특징 공간에서의 군집화(clustering)를 통해 학습되며, 이를 통해 압축된 시각적 패턴을 얻는다. 이후 패치 특징은 프로토타입과의 유사도로 표현되고, 사람이 읽을 수 있는 언어적 IF-THEN 조건을 가진 퍼지 규칙에 의해 분류된다. 이 프레임워크는 ImageNet-1K와 GastroNet-5M으로 사전학습된 ViT-S/16 백본의 마지막 두 블록에 걸쳐 적용되며, 동일한 고정(frozen) 특징 조건에서 k-최근접 이웃(k-nearest neighbours), 커널 SVM, 선형 프로빙(linear probing)과 비교하여 무선 캡슐 내시경 분류, 위장관 내시경 분류, 대장 용종 분할(segmentation) 과제에서 벤치마크된다. 실험 분석 결과, 제안된 방법은 백본 미세조정 없이도 이러한 블랙박스 분류기들과 비슷한 정확도에 도달하며, 도메인 특화 사전학습이 판별력이 있으면서도 기호적으로 압축 가능한 특징을 산출함을 보여준다. 도출된 규칙은 실제 데이터로부터 추출되어 해석 가능한 용어로 표현되기 때문에, 합성 의료 영상을 조사하는 도구로도 추가로 활용되어, 생성 모델이 어떤 실제 프로토타입과 규칙을 재현하거나 재현하지 못하는지를 사람이 읽을 수 있는 방식으로 설명하며, 단일 점수로 요약하는 대신 합성 영상이 실제 조직과 어디에서 달라지는지를 국소적으로 파악할 수 있게 한다. 따라서 이 프레임워크는 파운데이션 모델이 임상적으로 관련 있는 구조를 어떻게 조직화하는지에 대한 투명하고 깊이 수준에서 해석 가능한(depth-resolved) 시각을 제공하며, 추출된 규칙의 실용적인 후속 활용 방안도 함께 제시한다.

arXiv:2609.27865v1cs.LG공통 태그 Clustering, Representation Learning

무엇이 바뀌었는가? 실제·가상·비교 불가 진단을 통한 드리프트 탐지

What Changed? Drift Detection with Real, Virtual, and Incomparable Diagnosis

깊은 인코더를 공유한다고 해서 그 자체만으로 과제 비교 점수의 핵심 교란(confound)을 해소하지는 못한다. 우리는 고정된 공유 표현 위에서 교차 평가된 head가 얕은 exchange 점수의 외삽(extrapolation) 교란을 그대로 물려받음을 보인다. 레이블은 고정한 채 순수 입력 회전만 적용하면 깊은 exchange 점수가 약 0에서 0.80까지 부풀어 오르는 반면, 표현-신규성(novelty) 점수는 상보적인 방향에서는 맹점이 있다(과제를 완전히 바꾸는 레이블 순열 아래에서는 평평하게 유지된다). 조건부 이중 판별자(two-discriminator) discrepancy를 임베딩 공간으로 이식하면 두 맹점을 모두 해소한다. 기능(functional) 축은 회전 아래에서 ±0.001 이내로 유지되고, 레이블 순열 드리프트 질량(drift mass)을 단조적으로 추적한다. mixture-of-heads 수명주기에 통합하면 두 축 게이트(two-axis gate)는 동일 학습 예산에서 exchange 또는 novelty 트리거보다 더 적은 head로 더 나은 의사결정 품질을 달성한다. 일반화된 범주 발견(generalized category discovery)에서는 동일한 청크 수준(chunk-level) 기능 축이 AUROC 0.98–0.99로 의미적 신규성(semantic novelty)과 photometric shift를 분리하는데, 입력별 OOD 점수(MSP, Energy, Mahalanobis, KNN)는 그 구분에 대해 거의 우연(chance) 수준에 머문다. 모든 결과는 CIFAR-100에서 frozen ImageNet-21k ViT-B/16과 자기지도(self-supervised) DINOv2 백본에서 재현되며, recurrence를 갖는 residual adapter pool로도 확장된다. null 보정 novelty 트리거는 메커니즘 변화에서 한 번도 발화하지 않는 반면, 두 축 게이트는 recurrence를 전부 재사용하여 이를 처리한다. 임베딩 공간에서의 결론이 원래 메커니즘으로 전이되기 위한 공통 요인화(common-factoring) 조건을 명시적으로 기술한다.

arXiv:2609.28086v1cs.LG공통 태그 Clustering, Representation Learning

LAYERSCOPE: 비디오 및 멀티모달 학습 표현의 층별 특성 분석

LAYERSCOPE: A Layerwise Characterization of Video and Multimodal Learned Representations

우리는 비디오 및 멀티모달 환경에서 모델이 학습한 표현(representation)의 특성을 분석하는 것을 목표로 하는, 레이블이 필요 없는 층별(layerwise) 프레임워크인 LAYERSCOPE를 제안한다. 최종 층 또는 중간 층의 표현을 사용해 다운스트림 성능을 평가하려면 일반적으로 대량의 레이블 데이터, 반복적인 태스크별 평가, 그리고 상당한 연산량이 필요하다. 이러한 한계를 해결하기 위해 LAYERSCOPE는 국소적(local), 전역적(global), 분포적(distributional), 대응 기반(correspondence-based) 기하 지표를 활용하여, 태스크별 레이블 없이도 모델 내부와 모델 간의 층별 표현 구조를 비교한다. 우리는 MVEB/MVEB+의 비디오 및 멀티모달 분류(classification), 클러스터링, 텍스트-비디오 검색 태스크에서 아키텍처가 서로 다른 일곱 개의 모델을 평가한다. 그 결과, 중간 층의 표현이 최종 층 및 모델 기본 출력보다 더 좋은 성능을 낼 수 있음을 발견했다. 또한 어떤 단일 기하 지표도 다운스트림 성능을 일관되게 예측하지는 못하지만, 모델 계열별로 서로 구별되는 층별 기하 시그니처가 나타남을 확인했다. LID는 성능과 태스크에 따라 달라지는 관계를 보이며, RankMe는 분류와 클러스터링에 대해 가장 강력한 척도를 제공하지만 범용적인 층 선택 기준은 아니다. 아울러 페어링(pairing)을 고려하는 지표가 분포 거리만 사용하는 경우보다 검색 성능을 더 잘 설명한다는 점도 발견했다. 따라서 LAYERSCOPE는 모델과 층 전반에 걸쳐 표현을 비교할 수 있는 프레임워크를 제공하며, 비디오 및 멀티모달 환경에서 보다 체계적인 평가를 가능하게 한다.

arXiv:2609.28448v1cond-mat.dis-nn공통 태그 Clustering, Representation Learning

척력적 셀프 어텐션의 비평형 상: 혼돈, 어텐션 응축, 그리고 창발적 국소성

Nonequilibrium Phases of Repulsive Self-Attention: Chaos, Attention Condensation, and Emergent Locality

본 논문에서는 $N$개의 정규화된 토큰, $Q=K=I$, 그리고 음의 값 맵 $V=-I$를 갖는 최소 순환 트랜스포머(recurrent transformer)의 비평형 동역학을 연구합니다. 유사도 기반 어텐션은 인접한 표현을 선택하는 반면, 음의 값 맵은 선택된 장(field)으로부터 토큰을 밀어냅니다. 이러한 피드백은 표현 기하학과 어텐션 네트워크 모두를 지속적으로 재구성할 수 있습니다. $d=2$일 때 토큰들은 원 위에 놓이며, 정다각형은 정확한 고정점이 됩니다. 어텐션 피드백 강도 $\gamma$가 증가함에 따라 정다각형은 플립 분기(flip bifurcation)를 통해 안정성을 잃고, 주기 2(period-two) 운동, 혼돈(chaos), 그리고 클러스터 교환 또는 클러스터 플립 상태를 발생시킵니다. 이러한 시간적 복잡성에도 불구하고, 유한하고 고정된 소프트맥스 첨예도 $\beta$에서 $N\to\infty$일 때 어텐션은 확산된(diffuse) 상태를 유지합니다. 대신 어텐션 응축은 $\beta\sim N^2$ 스케일링 체제에서 창발합니다. 하드 라우팅 극한에서는 척력적 업데이트가 국소 섭동을 증폭하고 라우팅 파트너 전환이 이를 탄도학적으로 전달하여, 표현 공간에서 창발적인 버터플라이 콘(butterfly cone)을 형성합니다. 고차원 기하학은 국소화로 향하는 별도의 경로를 제공합니다. $d=N\to\infty$의 경우, 가우시안 초기 조건에서의 시뮬레이션은 동적으로 생성된 유한한 중첩 간극에 의해 유도되는 $\beta=O(1)$에서의 응축 전이(condensation transition)에 대한 증거를 제시합니다. $\gamma$에 따라 나타나는 상에는 확산된 단체형(simplex-like) 상태, 합의 플립(consensus flips), 혼돈의 징후를 보이는 응축된 활성 라우팅, 파편화된 클러스터 플립이 포함됩니다. 이러한 결과는 시간적 활성, 어텐션 응축, 기하학적 클러스터링이 서로 구별되는 집합적 현상임을 규명하며, 희소 어텐션(sparse attention)이 동역학을 동결시키기보다는 지속적인 동역학을 유지할 수 있음을 보여줍니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.