Hybrid Interest Modeling for Long-tailed Users
원문 초록
User behavior modeling is a key technique for recommender systems. However, most methods focus on head users with large-scale interactions and hence suffer from data sparsity issues. Several solutions integrate side information such as demographic features and product reviews, another is to transfer knowledge from other rich data sources. We argue that current methods are limited by the strict privacy policy and have low scalability in real-world applications and few works consider the behavioral characteristics behind long-tailed users. In this work, we propose the Hybrid Interest Modeling (HIM) network to hybrid both personalized interest and semi-personalized interest in learning long-tailed users' preferences in the recommendation. To achieve this, we first design the User Behavior Pyramid (UBP) module to capture the fine-grained personalized interest of high confidence from sparse even noisy positive feedbacks. Moreover, the individual interaction is too sparse and not enough for modeling user interest adequately, we design the User Behavior Clustering (UBC) module to learn latent user interest groups with self-supervised learning mechanism novelly, which capture coarse-grained semi-personalized interest from group-item interaction data. Extensive experiments on both public and industrial datasets verify the superiority of HIM compared with the state-of-the-art baselines.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
흑백의 이분법을 넘어: 그래프 기반 시맨틱 ID(GrIS)를 통한 시맨틱 및 협업 신호의 균형
Neither Black nor White: Balancing Semantic and Collaborative Signals with Graph-Informed Semantic IDs (GrIS)
생성형 추천을 위한 시맨틱 ID(Semantic ID, SID)에 관한 기존 연구들은 SID 구축을 표현 학습(representation learning) 문제로 취급하여, 아이템을 양자화된 잠재 공간으로 인코딩하고 코드를 읽어내는 방식을 취합니다. 본 논문에서는 이러한 관점이 본질적이지 않다고 주장합니다. SID 구축은 본질적으로 재귀적 클러스터링(recursive clustering) 문제이며, 이렇게 정의하면 클러스터링할 자연스러운 대상은 노드가 시맨틱 콘텐츠를 담고 에지가 협업 신호(collaborative signal)를 전달하는 그래프가 됩니다. 즉, SID 할당은 계층적 그래프 분할(hierarchical graph partition)이 됩니다. 이러한 재구성을 통해 기존 접근 방식을 대체하기보다는 포괄하는 통합 프레임워크인 그래프 기반 시맨틱 ID(Graph-Informed Semantic IDs, GrIS)를 도출합니다. RQ-VAE 및 RQ-KMeans는 그래프가 비어 있는 특수한 경우로 환원되며, 이는 콘텐츠 전용 양자화가 지금까지 하나로 뭉쳐져 있던 두 축인 그래프 구축과 재귀적 분할 알고리즘으로 이루어진 더 큰 설계 공간의 한 단면에 불과함을 보여줍니다. 본 연구에서는 두 가지 대조적인 구현체를 탐색합니다. 하나는 미분 가능한 그래프 풀링(pooling)을 통해 계층적 할당을 수행하는 RecDMoN이고, 다른 하나는 그래프 인식 아이템 표현과 그래프 재구성 목적 함수를 통해 RQ-VAE를 확장하는 RQ-GAE입니다. 여러 실제 데이터셋에서 GrIS는 협업 필터링(CF) 인식 최신 기술(SOTA) 대비 일관되게 향상된 성능을 보여주며, Hit@10에서 최대 +52%의 성능 향상을 달성합니다. 그래프 구축과 분할이 명시적이고 개별적으로 구성 가능한 컴포넌트이기 때문에, 두 축 중 어느 한쪽의 개선점이라도 결합하여 체계적으로 평가할 수 있습니다.
무엇이 바뀌었는가? 실제·가상·비교 불가 진단을 통한 드리프트 탐지
What Changed? Drift Detection with Real, Virtual, and Incomparable Diagnosis
깊은 인코더를 공유한다고 해서 그 자체만으로 과제 비교 점수의 핵심 교란(confound)을 해소하지는 못한다. 우리는 고정된 공유 표현 위에서 교차 평가된 head가 얕은 exchange 점수의 외삽(extrapolation) 교란을 그대로 물려받음을 보인다. 레이블은 고정한 채 순수 입력 회전만 적용하면 깊은 exchange 점수가 약 0에서 0.80까지 부풀어 오르는 반면, 표현-신규성(novelty) 점수는 상보적인 방향에서는 맹점이 있다(과제를 완전히 바꾸는 레이블 순열 아래에서는 평평하게 유지된다). 조건부 이중 판별자(two-discriminator) discrepancy를 임베딩 공간으로 이식하면 두 맹점을 모두 해소한다. 기능(functional) 축은 회전 아래에서 ±0.001 이내로 유지되고, 레이블 순열 드리프트 질량(drift mass)을 단조적으로 추적한다. mixture-of-heads 수명주기에 통합하면 두 축 게이트(two-axis gate)는 동일 학습 예산에서 exchange 또는 novelty 트리거보다 더 적은 head로 더 나은 의사결정 품질을 달성한다. 일반화된 범주 발견(generalized category discovery)에서는 동일한 청크 수준(chunk-level) 기능 축이 AUROC 0.98–0.99로 의미적 신규성(semantic novelty)과 photometric shift를 분리하는데, 입력별 OOD 점수(MSP, Energy, Mahalanobis, KNN)는 그 구분에 대해 거의 우연(chance) 수준에 머문다. 모든 결과는 CIFAR-100에서 frozen ImageNet-21k ViT-B/16과 자기지도(self-supervised) DINOv2 백본에서 재현되며, recurrence를 갖는 residual adapter pool로도 확장된다. null 보정 novelty 트리거는 메커니즘 변화에서 한 번도 발화하지 않는 반면, 두 축 게이트는 recurrence를 전부 재사용하여 이를 처리한다. 임베딩 공간에서의 결론이 원래 메커니즘으로 전이되기 위한 공통 요인화(common-factoring) 조건을 명시적으로 기술한다.
UVU: 비전-언어 통합 자기회귀 패러다igm을 통한 멀티모달 이해 향상
UVU: Improving Multimodal Understanding via Vision-Language Unified Autoregressive Paradigm
멀티모달 대규모 언어 모델(MLLM)이 눈에 띄게 발전했음에도, 세밀한 시각 이해는 주로 희소한 텍스트 감독에 의존하기 때문에 제한된다. 시각 감독을 도입하려는 기존 시도는 대개 사후 학습 단계에서 이루어지며, 그때는 시각 표현이 이미 대부분 고정되어 있어 해당 신호가 지각 특징을 형성하는 주된 힘보다는 보조적 제약으로 작용하는 경우가 많다. 본 논문에서는 사전학습 단계에 시각 감독을 직접 통합하여 모델의 지각 백본을 근본적으로 재구성하는 것을 목표로 한다. 픽셀 수준의 이미지 패치와 텍스트 토큰이 본질적인 입력 대칭성을 갖는 공유된 원시 고차원 공간에 자연스럽게 공존한다는 점을 관찰한다. 이 통찰을 바탕으로 벡터 양자화를 배제하는 새로운 비전-언어 통합 자기회귀 프레임워크인 UVU를 제안한다. UVU는 시각 입력의 무손실 표현을 위해 연속 시각 인코딩을 독특하게 사용하고, 픽셀 수준의 시각 코드북을 구성하기 위한 대규모 반복적 계층적 클러스터링 알고리즘을 제안하여 통합 감독을 위한 어휘를 확장하고 텍스트 토큰과 함께 픽셀 수준 이미지 토큰의 자기회귀 생성을 가능하게 한다. UVU는 픽셀 수준 시각 지각과 의미 수준 시각 이해를 효과적으로 시너지시키며, 시각 재구성 능력을 내재화하고 사전학습 단계에서 이해를 향상시키는 시각 감독의 촉진적 역할을 이끌어낸다. 여러 과제에 걸친 광범위한 실험은 MLLM이 UVU의 감독 학습 패러다igm 하에서 더 우수한 멀티모달 이해 성능을 달성할 수 있음을 보여준다.
SAFe: 이상 인식 분할을 위한 세그먼트 유도 특징 밀도 집계
SAFe: Segment-guided Aggregation of Feature Densities for Anomaly-aware Segmentation
시각 분할 시스템은 실제 배포 시 학습 분포 밖의 객체를 만나며, 지각 단계에서 장면 파싱(scene parsing)에 의존하는 신뢰할 수 있는 자율 시스템을 저해한다. 최근 많은 방법은 자기지도(self-supervised) 파운데이션 모델로 이상 이미지 영역에서 낮은 가능도를 내는 밀도 추정기(density estimator)를 학습하는 방식으로 이를 다룬다. 유망하지만, 이러한 방법은 특징 의미론이 빈약하거나 공간적 일관성이 부족해, 둘 다 중요한 후속 의사결정을 훼손한다. 우리는 자기지도 표현 위의 클래스 조건부 밀도 추정에 기반한 생성적 방법인 SAFe로 이 문제를 해결한다. SAFe는 고정(frozen) DINOv3 특징 위에서 클래스 조건부 정규화 가능도 추정치를 산출하는 경량 정규화 흐름(normalizing flow)을 학습한다. 전역 의미론과 국소 디테일을 모두 포착하기 위해 트랜스포머 특징의 밀도 추정과 다중 스케일 합성곱 특징에 대한 밀도 점수를 결합한다. SAM3에 기반한 방법 독립적 후처리 단계를 도입하여, 위치별 가능도를 공간적으로 일관된 세그먼트로 연결하고 거짓 양성을 억제하며, 재학습 없이 인스턴스 수준 이상 탐지를 가능하게 한다. 후처리는 유사도 기반 응집적 클러스터링(agglomerative clustering)으로 이상 객체들 가운데 새로운 범주를 추가로 구분한다. SAFe는 PANIC, OoDIS, SMIYC ObstacleTrack에서 새로운 최고 성능(state of the art)을 달성하고 ISSU 벤치마크에서도 강한 성능을 보인다.
scMIR: 단일 세포 광학 현미경 이미지 표현을 위한 비전-언어 파운데이션 모델
scMIR: a vision-language foundation model for single-cell light microscopy image representation
단일 세포 광학 현미경 이미지는 세포 표현형(phenotype)을 특성화하는 데 중요한 데이터 원천이 되었지만, 그 복잡성과 이질성(heterogeneity)은 고속 자동 분석에 어려움을 제기한다. 기존 표현 학습(representation learning) 방법은 대부분 과제 지향(task-oriented) 모델링에 의존하며, 이는 특정 데이터셋과 사전 정의된 과제에 제한되어 서로 다른 세포 유형, 현미경 방식(modality), 실험 조건에 걸쳐 일반화하기 어렵다. 최근 범용(general-purpose) 방법이 이미지 표현의 일반화 능력을 향상시켰지만, 실험 배경과 생물학적 문맥 정보의 제한적 활용은 여전히 복잡한 표현형 분석에서 과제를 남긴다. 본 연구에서는 단일 세포 광학 현미경 이미지 표현을 위한 비전-언어 파운데이션 모델인 scMIR을 제안한다. 자기지도(self-supervised) 이미지 재구성과 텍스트 유도 교차 모달 정렬(cross-modal alignment)을 시너지적으로 결합함으로써, scMIR은 형태학적 정보와 생물학적 의미 정보를 통합 표현 공간에서 동시에 인코딩할 수 있다. scMIR은 다양한 세포 유형, 현미경 방식, 교란(perturbation) 조건을 아우르는 207,957개의 이미지-텍스트 쌍으로 사전학습(pre-training)되었다. scMIR은 16개 벤치마크 데이터셋을 사용한 다양한 복잡 과제에 대한 체계적 평가에서 세포 분류, 클러스터링, 표현형 추론, 배치 효과 보정 과제를 포함하여 기존 범용 모델과 과제 지향 방법을 능가한다. 또한 scMIR은 과제별 미세조정 없이도 다양한 과제에 걸쳐 강한 일반화 능력을 보인다. 고유한 장점을 바탕으로, scMIR은 다양한 하류(downstream) 분석 과제를 지원함으로써 고속 표현형 분석(phenotyping) 워크플로의 표준화와 자동화를 촉진할 수 있을 것으로 기대한다.
MoLGE: 대규모 다국어 음성 인식의 효율적 스케일링을 위한 언어 그룹 전문가 혼합
MoLGE: Mixture of Language Group Experts for Efficient Scaling of Massively Multilingual Speech Recognition
수백 개 언어를 포괄하는 대규모 다국어 자동 음성 인식(ASR) 모델은 다양한 언어적·음향적 조건에서 견고한 성능을 유지해야 한다. 그러나 이러한 모델은 종종 다국어성의 저주(curse of multilinguality)에 직면하며, 이는 모델 용량이 여러 언어에 걸쳐 희석되는 현상이다. 이 문제를 해결하기 위해, 우리는 음성 자기지도 학습 모델(S3M)을 기반으로 한 언어 그룹 전문가 혼합(MoLGE)을 제안한다. MoLGE는 유사한 언어들의 클러스터에 전용 전문가 모듈을 할당하여, 기존의 언어별 전문가 혼합(MoE) 방식에 비해 필요한 하위 모듈 수를 줄인다. 또한 S3M 아키텍처의 분리된 음향·언어 구성요소에 계층적 저랭크 적응(LoRA) 전략을 통합하여, 매개변수 효율성을 유지하면서 언어별 특성을 효율적으로 모델링할 수 있게 한다. 또한 언어학적·데이터 기반 기준 모두에 따른 언어 그룹화 전략이 전체 성능에 미치는 영향을 조사하여, 다국어 음성 시스템에서 언어 구조가 확장성(scalability)에 어떻게 영향을 미치는지에 대한 해석 가능한 관점을 제공한다. 실험에서 우리는 495개 언어를 포괄하는 다국어 벤치마크에서 MoLGE를 평가한다. 결과는 MoLGE가 학습 가능한 매개변수의 최소한의 증가만으로 밀집(dense) 다국어 기준선을 지속적으로 능가함을 보여준다. 특히 이러한 언어 그룹화 전략은 ASR 모델링의 음성학적(phonetic) 측면과 정서법적(orthographic) 측면 모두에서 상당한 개선을 가져온다. 우리의 발견은 구조화된 언어 특화(language specialization)가 다국어 ASR의 언어 커버리지를 대규모로 확장하는 효과적인 경로를 제공함을 시사한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.