arXiv:2005.02372

Community Detection Clustering via Gumbel Softmax

Deepak Bhaskar Acharya, Huaming Zhang

제출 2020-05-05

원문 초록

Recently, in many systems such as speech recognition and visual processing, deep learning has been widely implemented. In this research, we are exploring the possibility of using deep learning in community detection among the graph datasets. Graphs have gained growing traction in different fields, including social networks, information graphs, the recommender system, and also life sciences. In this paper, we propose a method of community detection clustering the nodes of various graph datasets. We cluster different category datasets that belong to Affiliation networks, Animal networks, Human contact networks, Human social networks, Miscellaneous networks. The deep learning role in modeling the interaction between nodes in a network allows a revolution in the field of science relevant to graph network analysis. In this paper, we extend the gumbel softmax approach to graph network clustering. The experimental findings on specific graph datasets reveal that the new approach outperforms traditional clustering significantly, which strongly shows the efficacy of deep learning in graph community detection clustering. We do a series of experiments on our graph clustering algorithm, using various datasets: Zachary karate club, Highland Tribe, Train bombing, American Revolution, Dolphins, Zebra, Windsurfers, Les Mis\'erables, Political books.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.30277v2cs.LG공통 태그 Clustering, Community Detection

고정된 확산 없는 고정점: 수렴하는 테스트 시점 연산을 위한 암시적 신경 층

Fixed Points Without Fixed Diffusion: Implicit Neural Sheaves for Convergent Test-Time Computation

암시적 그래프 신경망(IGNN)은 노드 표현을 그래프 신경 연산자의 고정점(fixed point)으로 정의하여 실질적으로 무한한 깊이의 전파, 반복(iteration) 독립적인 매개변수화, 유연한 테스트 시점 연산(test-time computation)을 가능하게 합니다. 그러나 이러한 이점은 평형점이 유일하며 고정점 반복을 통해 도달할 수 있는지 여부에 달려 있습니다. 기존의 구조들은 이러한 보장을 얻기 위해 순환 업데이트에 제약을 가하는 경우가 많아 평형 상태에서 사용 가능한 변환을 제한했습니다. 이는 핵심적인 질문을 제기합니다: IGNN이 평형 정식화의 고유한 강점을 유지하면서 더 풍부한 엣지 의존적 변환을 통해 표현력을 얻을 수 있을까요? 본 논문에서는 적응형 신경 층(neural-sheaf) 전파를 갖춘 준동차(subhomogeneous) 심층 평형 아키텍처인 SheafDEQ를 소개합니다. 학습된 행렬 값 층 제한 사상(sheaf restriction map)은 이웃한 표현들을 정렬, 혼합 또는 반전시킬 수 있습니다. 완만한 정칙성 조건 하에서, SheafDEQ가 임의의 양의 초기 상태로부터 고정점 반복을 통해 전역적으로 도달 가능한 유일한 평형점을 가짐을 증명합니다. 나아가 축약성(contractivity)은 유계된 통신 지연(staleness) 하에서도 수렴을 보장합니다. 본 연구는 반복적인 비국소적 집계가 필요한 분산 추론(inference) 태스크와 연결 재구성이 점차 커뮤니티 간 상호작용을 선호하게 되는 커뮤니티 탐지 태스크에서 SheafDEQ를 평가합니다. SheafDEQ는 Sums, MNIST Terrain, Coordinates 태스크 및 연결성이 점차 이종친화적(heterophilic)으로 변하는 커뮤니티 탐지에서 암시적 베이스라인보다 향상된 성능을 보입니다. 또한 SheafDEQ는 평형 보장이 없는 순환 모델들과 비교해도 경쟁력을 유지합니다. 연속 반복 진단 결과 유한 구간(finite-horizon) 대조군과 달리 100회 반복까지 잔차가 감소하고 테스트 정확도가 유지됨을 확인하였으며, 지연 업데이트 실험에서는 유계된 통신 지연에 대해 낮은 민감도를 나타냈습니다.

arXiv:2610.01533v1cs.AI공통 태그 Clustering, Recommendation Systems

흑백의 이분법을 넘어: 그래프 기반 시맨틱 ID(GrIS)를 통한 시맨틱 및 협업 신호의 균형

Neither Black nor White: Balancing Semantic and Collaborative Signals with Graph-Informed Semantic IDs (GrIS)

생성형 추천을 위한 시맨틱 ID(Semantic ID, SID)에 관한 기존 연구들은 SID 구축을 표현 학습(representation learning) 문제로 취급하여, 아이템을 양자화된 잠재 공간으로 인코딩하고 코드를 읽어내는 방식을 취합니다. 본 논문에서는 이러한 관점이 본질적이지 않다고 주장합니다. SID 구축은 본질적으로 재귀적 클러스터링(recursive clustering) 문제이며, 이렇게 정의하면 클러스터링할 자연스러운 대상은 노드가 시맨틱 콘텐츠를 담고 에지가 협업 신호(collaborative signal)를 전달하는 그래프가 됩니다. 즉, SID 할당은 계층적 그래프 분할(hierarchical graph partition)이 됩니다. 이러한 재구성을 통해 기존 접근 방식을 대체하기보다는 포괄하는 통합 프레임워크인 그래프 기반 시맨틱 ID(Graph-Informed Semantic IDs, GrIS)를 도출합니다. RQ-VAE 및 RQ-KMeans는 그래프가 비어 있는 특수한 경우로 환원되며, 이는 콘텐츠 전용 양자화가 지금까지 하나로 뭉쳐져 있던 두 축인 그래프 구축과 재귀적 분할 알고리즘으로 이루어진 더 큰 설계 공간의 한 단면에 불과함을 보여줍니다. 본 연구에서는 두 가지 대조적인 구현체를 탐색합니다. 하나는 미분 가능한 그래프 풀링(pooling)을 통해 계층적 할당을 수행하는 RecDMoN이고, 다른 하나는 그래프 인식 아이템 표현과 그래프 재구성 목적 함수를 통해 RQ-VAE를 확장하는 RQ-GAE입니다. 여러 실제 데이터셋에서 GrIS는 협업 필터링(CF) 인식 최신 기술(SOTA) 대비 일관되게 향상된 성능을 보여주며, Hit@10에서 최대 +52%의 성능 향상을 달성합니다. 그래프 구축과 분할이 명시적이고 개별적으로 구성 가능한 컴포넌트이기 때문에, 두 축 중 어느 한쪽의 개선점이라도 결합하여 체계적으로 평가할 수 있습니다.

arXiv:2607.20863v1cs.IR공통 태그 Clustering, Recommendation Systems

온라인 추천을 위한 확률적 잔차 학습

Probabilistic Residual Learning for Online Recommendations

현대 추천 시스템은 일반적으로 심층 학습(DL) 모델을 기반으로 하며, 밀집 인코더(dense encoder)가 사용자와 아이템의 표현(representation)을 학습한다. 그 결과 이러한 시스템은 기반 모델의 블랙박스 특성과 계산 복잡성으로 인해 추천 성능을 체계적으로 향상시키기 어려운 경우가 많다. 이 문제를 해결하기 위해, 우리는 Probabilistic Residual Learning(PRL)을 제안한다. 이는 실제값(ground-truth)과 기본 예측(base prediction) 사이의 잔차(residual)를 모델링하여 기존 시스템의 목표 지향적 정제(refinement)를 가능하게 하는 인과적 베이지안 추천 모델이다. 구체적으로 PRL은 (1) 국소적 잔차 모델링을 위해 사용자를 확률적으로 그룹화하고, (2) 사용자 및 아이템 표현에 영향을 미치는 도메인 수준 교란 변수(domain-level confounder)를 모델링하며, (3) do-calculus를 사용하여 교란 변수에 대한 클러스터별 잔차 예측을 집계한다. 실험 결과, 플러그앤플레이(plug-and-play) 방식의 PRL이 다양한 기본 심층 학습 추천 시스템과 호환되며 성능을 향상시키는 동시에 의미 있는 사용자 클러스터를 자동으로 발견함을 보여준다.

arXiv:2607.21039v1cs.LG공통 태그 Clustering, Community Detection

Grassmann 다양체 상의 정규화 최적화: 이론, 알고리즘 및 응용

Regularized Optimization on Grassmann Manifold: Theory, Algorithm and Applications

스펙트럴 방법은 커뮤니티 탐지, 클러스터링, 그래프 학습에서 가장 널리 사용되는 기법 중 하나이다. 그러나 그 성능은 근본적인 스펙트럴 부분공간의 정확한 추정에 크게 의존하며, 노이즈, 이상치, 또는 모델 교란이 존재할 경우 상당히 악화될 수 있다. 이 한계를 해결하기 위해, 우리는 rank-$K$ 투영 행렬의 강건한 추정을 위한 정규화 투영 행렬 근사(Regularized Projection Matrix Approximation, RPMA) 프레임워크를 제안한다. RPMA는 정규화 항을 통합하여 고전적인 스펙트럴 투영을 확장하며, 더 강건하고 희소하며 해석 가능한 투영 추정치를 생성한다. 우리는 제안된 모델을 rank-$K$ 투영 행렬의 다양체 상의 최적화 문제로 공식화하고, Grassmann 다양체와의 기하학적 동등성을 활용한다. 이 다양체 특성화를 바탕으로, 1차 및 2차 최적성 조건을 유도하고, 정규화된 선행 고유공간의 국소 안정성을 확립하며, 충분히 작은 정규화 하에서 임계점 경관의 안정성을 특성화한다. 결과적인 비볼록 최적화 문제를 효율적으로 풀기 위해, 역추적 선 탐색(backtracking line search)을 갖춘 Riemann 그래디언트 투영 알고리즘과, 반복적인 고유값 분해를 피하는 보다 효율적인 Cayley--Sherman--Morrison--Woodbury(Cayley--SMW) 그래디언트 방법을 개발한다. 합성 및 실제 데이터셋에 대한 광범위한 실험은 RPMA가 투영 행렬의 복원 정확도를 크게 향상시키며, 노이즈가 있는 환경에서 커뮤니티 탐지 및 클러스터링을 위한 기존 스펙트럴 투영 방법보다 일관되게 우수한 성능을 보임을 입증한다.

arXiv:2607.12246v1cs.LG공통 태그 Clustering, Recommendation Systems

Proximity Features: Airbnb의 개인정보 준수 콜드 스타트 개인화

Proximity Features: Privacy-Compliant Cold-Start Personalization at Airbnb

양면 마켓플레이스에서의 개인화는 사용자 수준 특징에 크게 의존하지만, 구매 빈도가 낮고 구매 전 고려가 긴 플랫폼의 경우 유료 및 자연(organic) 채널 모두에 걸쳐 효과적인 추천을 위한 충분한 이력을 갖추지 못한 사용자가 상당수 존재한다. Airbnb에서는 상당 비율의 검색 요청이 로그아웃 상태이거나 첫 방문 사용자로부터 발생하며, 이 문제는 유료 채널 랜딩 페이지에서 특히 두드러져 전체 트래픽의 상당 부분에서 기존 사용자 수준 특징을 사용할 수 없게 한다. 개인정보 규제와 서드파티 쿠키에 대한 점점 강화되는 제한은 비필수 사용 사례에 대한 식별자 기반 추적을 더욱 제한한다. 본 논문은 geo-IP 데이터와 적응형 클러스터링 알고리즘을 사용하여 지리적 근접성에 따라 사용자를 그룹화하고, 추론 시 지속적인 개별 식별자 없이도 약 1,000명의 인근 사용자 그룹에 대한 집계된 사용자 수준 신호를 생성하는 개인정보 준수 특징 시스템인 Proximity Features(근접 특징)를 제안한다. 개인정보 보호는 설계상 보장된다. 파이프라인은 동의 기반 프라이버시 통제 내에서 동의된 집계 데이터만으로 동작한다. 이 시스템은 Airbnb 프로덕션에 배포되어 마케팅 랜딩 페이지, 목적지 추천 등 여러 접점에 서비스되고 있으며, engagement 이메일 통합이 진행 중이다. 온라인 A/B 실험은 예약 건수에서 통계적으로 유의미한 향상을 보여주며, 이력이 없거나 오래된 사용자에서 가장 큰 이득이 관찰되었다.

arXiv:2607.09441v1math.ST공통 태그 Clustering, Community Detection

다항 시간 내 준최적 노드-프라이빗 커뮤니티 추정

Near-optimal node-private community estimation in polynomial-time

이 논문에서 우리는 Klopp & Zadik (2026)의 미해결 문제를 해결하여, 확률적 블록 모델(stochastic block model)에서의 정확 복원(exact recovery)에 대해 그들의 지수 시간 노드-프라이빗 알고리즘의 성능에 근접하는, 높은 확률을 보장하는 다항 시간 노드-프라이빗 알고리즘을 제시한다. 우리의 결과는 페널티 가능도 함수에 대해 명시적으로 구성된 립시츠 대리 함수(Lipschitz surrogate)와, 다항 시간 내에 지수 메커니즘(exponential mechanism)으로부터 커뮤니티 레이블을 샘플링하는 신중하게 고안된 수용-기각 알고리즘(accept-reject algorithm)을 포함한다. 우리는 제안 알고리즘의 프라이버시, 실행 시간, 유용성을 엄밀하게 분석하며, 커뮤니티 수 K가 노드 수 n에 대해 로그 수준으로 증가하는 경우에도 프라이버시 매개변수 epsilon이 log(n)으로 증가할 때 정확 복원에 대한 미니맥스 수렴률을 달성할 수 있음을 보임으로써, 이 설정에서 프라이버시 비용에 관해 알려진 하한과 일치함을 증명한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.