최근의 토픽 모델들은 사전학습(pre-training)된 임베딩(embedding)을 활용하지만, 신경망 아키텍처는 특정 텍스트에 기반한 그라운딩(grounding) 없이 잠재 표현을 생성하며, 클러스터링 기반 파이프라인은 고차원 공간에서 허브니스(hubness)와 이방성(anisotropy)으로 왜곡되는 절대적 거리에 의존하여 사후적으로만 대표 문서를 할당합니다. 본 논문에서는 토픽 발견을 순위 기반 프로토타입(prototype) 선택 문제로 재구성하는 학습(training) 불필요(training-free) 프레임워크인 MARETopic을 소개합니다. 임베딩을 저차원 다양체(manifold)에 투영한 후, MARETopic은 순서형 이웃 구조를 인코딩하는 순위 목록을 구성합니다. 그리디(greedy) 알고리즘은 이웃 구조가 말뭉치(corpus) 전체를 포괄하는 실제 말뭉치 텍스트인 정확히 K개의 모범(exemplar) 문서를 선택합니다. 두 가지 변형 모델이 이 기준을 공유합니다. MARETopic$_\text{Corr}$은 질의 성능 예측기(query performance predictor)와 순위 상관 척도로 후보들을 평가하며, 카테고리가 가장 많은 두 벤치마크(benchmark)에서 신경망 및 클러스터링 기반 토픽 모델을 앞서며 Purity와 NMI 1위를 기록했습니다. MARETopic$_\text{Diff}$는 순위 기반 확산 행렬(diffusion matrix)로 후보를 평가하여 두 척도가 모두 필요하지 않으며, 1.7배에서 1.9배 더 빠르게 실행됩니다. 단 한 번의 그래디언트 업데이트도 없이, MARETopic은 세 데이터셋(dataset) 중 두 곳에서 토픽 일관성(topic coherence) 1위를 달성했습니다. 새로운 토픽 간 최대 한계 관련성(MMR) 단계는 일관성 손실을 최소화하면서 어휘 다양성을 향상시킵니다. 코드는 https://github.com/thcastilho/maretopic 에서 확인할 수 있습니다.
비전 모델을 배포할 때 근본적인 난제는 도메인 시프트(domain shift)이며, 학습 데이터와 테스트 데이터의 분포가 달라 성능이 저하될 때 이를 야기한다. 동일한 의미 개념이 사진과 스케치처럼 서로 다른 시각적 형태로 나타날 때, 의미적으로는 대응하지만 시각적 유사성은 약해져 이 난제는 더욱 커진다. 기존 비지도 도메인 적응(domain adaptation) 방법은 도메인 간 분포를 맞추는 것을 목표로 하지만, 같은 클래스에 속한 샘플들 간의 의미적 관계를 종종 무시한다. 이 문제를 해결하기 위해 본 논문은 CLIP의 비전-언어(vision-language) 공간의 의미 구조를 도메인 적응에 활용하는 방법인 SPACE를 제안한다. 핵심 아이디어는 클래스 설명에 대한 CLIP 임베딩에 특이값 분해(Singular Value Decomposition)를 적용해 범주 간 의미적 관계를 포착하는 직교 기저(orthogonal basis)를 얻고, 텍스트 설명을 의미 앵커(semantic anchor)로 사용하는 것이다. 양 도메인의 시각 특징을 이 의미 부분공간(semantic subspace)에 투영하여, 외관이 아니라 의미에 기반해 이미지를 정렬한다.
그래프 합성곱 네트워크(GCN)는 손상된 지도(supervision) 정보가 그래프를 통해 전파되어 학습된 노드(node) 표현을 저하시킬 수 있기 때문에 라벨 노이즈에 매우 취약합니다. 본 연구에서는 GCN 학습(training) 전에 그래프 기반 라벨 정제 단계로 입자 경쟁 및 협력(PCC)을 사용하는 하이브리드 프레임워크인 PCC+GCN을 제안합니다. PCC는 입자 지배 역학(particle domination dynamics)을 통해 의심스러운 라벨이 지정된 노드를 식별하고, GCN 학습 전에 해당 라벨을 유지할지, 제거할지 또는 재할당할지를 결정합니다. 또한 이 프레임워크는 PCC에 사용되는 그래프를 특징(feature) 기반 $k$-최근접 이웃 에지로 증강할 수 있도록 하며, GCN 자체는 원본 그래프 구조와 노드 특징을 기반으로 학습됩니다. 제안된 방법은 인스턴스 의존적(instance-dependent) 라벨 노이즈뿐만 아니라 기존의 균일(Uniform), 쌍(Pair), 무작위(Random) 라벨 노이즈 하에서 NoisyGL 벤치마크의 10개 그래프 데이터셋을 대상으로 평가되었습니다. 또한 Cora, CiteSeer, PubMed에 대해 상세한 하이퍼파라미터(hyperparameter) 분석이 수행되었습니다. 기존 노이즈 조건에서 PCC+GCN은 평가된 방법 중 가장 높은 전반적인 평균 정확도와 최고의 평균 순위를 달성했으며, 노이즈가 없는(clean) 환경과 모든 노이즈 시나리오 전반에 걸쳐 기준선(baseline) GCN 대비 평균 $1.67$ 퍼센트 포인트의 향상을 보였습니다. 인스턴스 의존적 노이즈 조건에서 PCC+GCN은 최고 성능을 보이는 강건한 방법들과 경쟁력 있는 성능을 유지하면서도 실행 시간을 대폭 줄여, 10개 데이터셋 중 8개에서 가장 빠른 강건한 방법이었습니다. 이러한 결과는 PCC 기반 라벨 정제가 노이즈가 있는 지도 환경에서 GCN의 강건성을 향상시키는 효과적이고 계산 효율적인 전처리 전략을 제공함을 보여줍니다.
지난 수십 년간 시각 정보 모델링과 표현 학습의 발전은 합성곱 신경망(Convolutional Neural Networks), 트랜스포머 기반 모델, 파운데이션 모델(Foundation Models)에 의해 주로 뒷받침되어 눈에 띈다. 그럼에도 유사도 평가의 성격과 모델 투명성에 관한 중요한 과제는 간과되어 왔다. 핵심 우려 중 하나는 기하학적 격차(Geometric Gap)로, 전통적인 쌍별(pairwise) 척도가 데이터셋 매니폴드(manifold)의 고유 기하를 포착하지 못한다는 점이다. 더불어 해석 가능성 격차(Interpretability Gap)도 지속되는데, 표현이 종종 인간 인지와 정렬(alignment)되지 않기 때문이다. 따라서 낮은 차원을 유지하면서 하류 과제에서 높은 효과를 내는 동시에 표현에 해석 가능성을 부여하는 방법은 여전히 열린 과제이다. 본 논문에서는 매니폴드 학습(Manifold Learning) 전략과 순위 기반 해석 가능 그래프 임베딩(Rank-based Interpretable Graph Embeddings)을 통합한 새로운 비지도 프레임워크를 제안한다. 우리 접근법은 먼저 매니폴드 분석으로 데이터셋의 맥락 정보를 특성화한 뒤, 희소하고 자기 설명 가능(self-explainable)한 임베딩을 생성함으로써 이러한 격차를 효과적으로 메운다. 제안 방법은 유연한 수식화를 쓰며, 서로 다른 매니폴드 학습 및 표현 학습(Representation Learning) 전략을 허용한다. 다양한 데이터셋과 특징에 대한 광범위한 실험 평가는 맥락 인식(Context-Aware) 표현이 본질적 해석 가능성과 차원 축소(dimensionality reduction)를 제공할 뿐 아니라, 특히 그래프 합성곱 네트워크(GCN)를 이용한 이미지 검색과 반지도(semi-supervised) 분류를 포함한 하류 과제에서 효과를 유지하거나 향상시킴을 보여준다.
데이터 기반 세계에서 객체 간 관계를 효율적으로 구성하고 매핑하는 것은 매우 중요하다. 그래프는 이러한 연결을 모델링하는 강력한 도구로, 소셜 네트워크, 통신, 생물학 등에 널리 사용된다. 그러나 그래프 기반 방법은 종종 높은 계산 비용, 특히 메모리 및 공간 사용 측면에서 부담을 겪는다. 이에 대응하기 위해 그래프 임베딩 기법, 즉 네트워크 표현 학습(Network Representation Learning)이라고도 불리는 방법은 구조적 측면을 보존하면서 그래프 정보를 저차원 표현으로 인코딩한다. 그러나 전통적인 방법은 해석 가능한 차원을 제공하지 못한다. RaDE(Rank Diffusion Embedding)는 순위 기반 정보를 활용하는 새로운 접근법을 제안하며, 핵심 단계로 대표적인 노드 부분집합을 선택하여 차원에 대한 해석 가능성을 부여하고 검색(retrieval) 작업을 개선한다. 잠재력에도 불구하고 RaDE의 원래 제안은 서로 다른 클래스에 걸친 대표 부분집합 선택의 효과를 충분히 탐구하지 않았고, 분류 및 클러스터링과 같은 작업에서 임베딩을 평가하지도 않았다. RaDE에서 영감을 받아, 본 연구는 GRaCE(Graph and Rank-based Contextual Embeddings)를 제안한다. 이는 대표 부분집합 선택 및 노드 임베딩을 위해 견고한 순위 기반 측도를 활용하여 해석 가능한 임베딩을 생성하는 완전 비지도 프레임워크이다. GRaCE는 텍스트 및 이미지 컬렉션을 포함한 다양한 데이터셋에서 RaDE와 원본 특징(Original Features)을 능가하며, 최신 트랜스포머 모델을 특징 서술자(feature descriptor)로, 분류 작업에서는 Graph Convolutional Networks 모델을 함께 고려할 때 검색, 분류, 클러스터링 작업에서 우수한 성능을 보인다.
점성탄성 유체 액적의 고체 표면 충돌 동역학은 VOF(Volume of Fluid) 수치 시뮬레이션에서 얻은 체적분율 필드를 입력으로 Video Vision Transformer(ViViT)가 초기 10~20% 구간만으로 이후 시간 진화를 재귀적으로 예측하는 방식으로, 전체 시뮬레이션 대비 계산 비용을 약 80~90% 줄이면서 퍼짐(spreading)과 반발(bouncing) 거동을 물리적으로 일관되게 재현한다.