arXiv:2411.01354

Online and Offline Evaluations of Collaborative Filtering and Content Based Recommender Systems

Ali Elahi, Armin Zirak

제출 2024-11-02

원문 초록

Recommender systems are widely used AI applications designed to help users efficiently discover relevant items. The effectiveness of such systems is tied to the satisfaction of both users and providers. However, user satisfaction is complex and cannot be easily framed mathematically using information retrieval and accuracy metrics. While many studies evaluate accuracy through offline tests, a growing number of researchers argue that online evaluation methods such as A/B testing are better suited for this purpose. We have employed a variety of algorithms on different types of datasets divergent in size and subject, producing recommendations in various platforms, including media streaming services, digital publishing websites, e-commerce systems, and news broadcasting networks. Notably, our target websites and datasets are in Persian (Farsi) language. This study provides a comparative analysis of a large-scale recommender system that has been operating for the past year across about 70 websites in Iran, processing roughly 300 requests per second collectively. The system employs user-based and item-based recommendations using content-based, collaborative filtering, trend-based methods, and hybrid approaches. Through both offline and online evaluations, we aim to identify where these algorithms perform most efficiently and determine the best method for our specific needs, considering the dataset and system scale. Our methods of evaluation include manual evaluation, offline tests including accuracy and ranking metrics like hit-rate@k and nDCG, and online tests consisting of click-through rate (CTR). Additionally we analyzed and proposed methods to address cold-start and popularity bias.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.27953v1cs.IR공통 태그 Collaborative Filtering, Recommendation Systems, Information Retrieval

LLM 추천 리랭킹의 재현율 한계

The Recall Ceiling of LLM Recommendation Reranking

일부 LLM 기반 추천 리랭커는 정답 아이템이 평가 대상 집합에 반드시 존재하도록 보장하는 오라클 프로토콜로 평가된다. 이는 정답 아이템을 후보 목록에 주입하거나 샘플링된 네거티브와 비교하여 점수를 매기는 방식으로 이루어진다. 세 개의 주요 Amazon 데이터셋에서 이 프로토콜이 현실적인 NDCG@10을 92~95% 과대평가함을 보인다. 그 원인은 재현율 한계(recall ceiling)에 있다. 세 개 도메인의 여덟 개 데이터셋에 걸쳐, 현실적인 검색(retrieval)은 $K=100$에서 관련 아이템의 2~19%만을 포착하며, 이는 모든 폐쇄 후보(closed-candidate) 리랭커의 top-$k$ NDCG에 결정론적 상한을 부과한다. 리브-원-아웃(leave-one-out) 평가에서는 $\mathbb{E}[\mathrm{NDCG}@k] \leq \mathrm{Recall}@|W_\pi|$가 성립하며, 여기서 $W_\pi$는 리랭커의 후보 윈도우이다. 현실적인 검색 조건에서는 우리의 주요 Amazon 데이터셋에서 테스트한 어떤 최적화 전략도 협업 필터링(CF) 기준선을 유의미하게 개선하지 못한다. 이러한 전략에는 프롬프트 엔지니어링, 168배 매개변수 범위에 걸친 모델 스케일링, 순차 모델, 지도 학습 기반 신경망 리랭커, LoRA 미세조정, 하이브리드 검색, 점수 인지(score-aware) 프롬프팅, LLM+CF 융합이 포함된다. 텍스트 인지(text-aware) 검색은 한 데이터셋에서 재현율을 높이지만 종단 간(end-to-end) NDCG를 개선하지는 못하며, 상위 단계의 CF 점수를 제공하면 주로 LLM이 CF의 순서를 그대로 재현하게 된다. 따라서 우리는 재현율 인지 평가 프로토콜(Recall-Aware Evaluation Protocol, RAEP)을 제안한다. 먼저 검색 재현율 구간(regime)을 분류한 뒤, 상한이 의미 있는 차별화를 허용하는 경우에 한해 리랭킹을 평가하는 것이다. 여기서 측정된 낮은 재현율 구간에서는 리랭커의 정교함을 높이는 것보다 검색을 개선하는 것이 더 중요하다. 다만 이러한 순서가 더 높은 재현율, 더 풍부한 특징, 또는 온라인 피드백을 갖춘 프로덕션 시스템에서도 반드시 성립하는 것은 아니다.

arXiv:2607.23986v1cs.IR공통 태그 Collaborative Filtering, Recommendation Systems, Information Retrieval

MEMOIR: 선호 드리프트 스펙트럼 전반의 추천을 위한 시간적 행동 메모리

MEMOIR: Temporal Behavioral Memory for Recommendation Across the Preference-Drift Spectrum

우리는 사용자 상호작용 이력을 시간적 윈도우로 분할하고, 대규모 언어 모델(LLM)을 사용하여 각 기간별 의미적 행동 메모리를 생성하며, 현재 상태·진화 방향·예측된 미래를 단일 사용자 표현으로 집계하는 프레임워크 MEMOIR을 제안한다. Amazon Reviews 2023의 Electronics 및 Clothing_Shoes_and_Jewelry 카테고리에서 MEMOIR은 집계 NDCG@10(0.0643 vs. 0.0641)에서 가장 강력한 기준선인 UniSRec과 통계적으로 동률이며, 보고된 네 가지 지표를 2-2로 나눈다: MEMOIR은 NDCG@10과 MRR에서 앞서고, UniSRec은 HR@10과 HR@20에서 앞선다. 어블레이션 연구에 따르면, 진화 보존 대조 손실(evolution-preserving contrastive loss), 그 방향 일관성 항(directional-consistency term), 또는 시간적 윈도우 분할 자체와 같은 단일 아키텍처 구성요소가 ID 기반 SASRec 대비 MEMOIR의 약 18% 상대적 향상을 개별적으로 설명하지 못한다; 네 가지 어블레이션 모두 집계 NDCG@10에서 전체 모델의 2% 이내에 위치한다. 대신 복합 선호 드리프트 점수로 테스트 성능을 계층화하면 향상이 집중되는 지점이 드러난다: MEMOIR은 분포의 고·저 드리프트 극단에 있는 사용자들에서 특히 순위 품질 지표(NDCG@10, MRR)에서 앞서는 반면, UniSRec은 모든 드리프트 계층에서 볼륨 지향 HR@10/HR@20 지표를 주도하고 중간 구간에서는 순위 품질에서 MEMOIR을 앞선다. 우리는 거의 동률인 집계 수치나 단일 어블레이션 구성요소가 아닌, 이 드리프트 계층화 패턴을 MEMOIR의 가장 실질적이고 재현 가능한 발견으로 보고하며, 이것이 성립하는 이유를 향후 연구를 위한 열린 질문으로 제시한다.

arXiv:2607.24213v1cs.AI공통 태그 Collaborative Filtering, Recommendation Systems, Information Retrieval

제약 인식 그래프 어텐션을 통한 사실적·규범적 산업 지식 통합 기반 공정 계획 추천

Integrating Factual and Normative Industrial Knowledge via Constraint-Aware Graph Attention for Process Plan Recommendation

사실적 관계와 의사결정 제약을 포함한 이종 산업 지식의 통합은 여전히 산업 정보 시스템의 핵심 과제이다. 가공 공정 계획은 재료 특성, 특징 특성, 품질 요구사항을 종합하여 공정을 선택해야 하므로 이 문제를 잘 보여준다. 기존 방법은 주로 유사도 검색이나 분류에 의존하며, 통합된 순위 목표나 표준화된 평가는 없다. 우리는 가공 공정 계획 추천을 지식 그래프 강화 협업 필터링 문제로 공식화하는 PCA-GAT를 제안한다. Bayesian Personalized Ranking이 학습 목표를 제공하고, Recall@K와 NDCG@K가 평가를 정의한다. 지식 그래프는 협업 신호가 희소할 때 의미론적 구조를 제공한다. 네 가지 도메인 제약—재료 호환성, 정밀도 요구사항, 특징 적용 가능성, 공정 순서—을 그래프 전파 과정에서 어텐션 편향으로 도입한다. 유형별 가중치가 각 제약의 중요도를 학습하고, 적응형 게이트가 지역적 맥락을 사용해 그 영향을 조절한다. 115개 부품과 507개 계획을 포함한 실제 항공우주 데이터셋에서 PCA-GAT는 Recall@1 = 0.9087을 달성하고 강한 콜드스타트 견고성을 보이며, 심각한 희소성 하에서 가장 강한 기준선 대비 약 절반 수준의 성능 저하만을 보인다. 소거 연구는 지식 그래프 보강이 필수적이고, 제약이 가치를 더하며, 게이트 없는 제약 주입은 성능을 해칠 수 있음을 보여준다. 학습된 가중치는 재료-공정 호환성이 지배적 요인임을 식별하며, 이는 도메인 전문 지식과 일치한다. 세 개의 공개 벤치마크에서의 결과는 제약이 없을 때 성능 저하가 없음을 보여주며, 제조 분야를 넘어선 일반화를 뒷받침한다. 본 연구는 공학 공정 계획을 위한 표준화된 추천 프로토콜을 수립하고 세 범주에 걸친 일곱 가지 방법을 벤치마킹하여, 지식 표현이 주요 병목임을 보여준다.

arXiv:2607.19739v1cs.IR공통 태그 Collaborative Filtering, Recommendation Systems, Information Retrieval

자율 언어 에이전트를 통한 개인화 추천 도구 학습

Personalized Recommendation Tool Learning via Autonomous Language Agents

대규모 언어 모델(LLM)은 강력한 추론 능력과 방대한 세계 지식으로 인해 최근 추천 시스템에서 주목받고 있지만, 기존 LLM 기반 에이전트는 환각과 컨텍스트 길이 제한에 시달려 전체 순위(full-ranking) 추천 작업에 적합하지 않다. LLM 자체를 수정하기보다 아키텍처 설계를 통해 이러한 한계를 우회하기 위해, LLM이 여러 추천 모델을 도구로 상호작용하는 중앙 계획자 역할을 하는 메모리 기반 Personalized Recommendation Tool learning via autonomous language Agents(PRTA) 에이전트 기반 추천 프레임워크를 제안한다. LLM 기반 에이전트는 고수준 추론과 개인화된 도구 선택을 담당하고, 전통적인 추천 모델은 행동 패턴 모델링에서의 확장성을 활용하여 전체 순위 점수 산출을 수행한다. 개인화된 도구 선택을 지원하기 위해, 사용자 프로필과 후보 순위 목록을 기반으로 각 사용자에 대해 도구를 평가하고 비교할 수 있도록 에이전트에 반성(reflection) 메커니즘을 설계한다. 세 개의 공개 데이터셋에 걸친 광범위한 실험은 전체 순위 추천 성능 향상에서 PRTA가 전통적인 추천 및 LLM 기반 베이스라인 대비 우수함을 보여준다.

arXiv:2607.12281v1cs.IR공통 태그 Collaborative Filtering, Recommendation Systems, Information Retrieval

SlimPer: 개인화 모델을 슬림하고 스마트하게

SlimPer: Make Personalization Model Slim and Smart

트랜스포머 스타일 아키텍처는 산업용 추천 시스템에서 점점 더 많이 채택되고 있지만, 작업과 맞지 않는 설계 전제를 그대로 물려받는다. 생성 모델은 토큰 단위의 자기회귀(autoregressive) 예측에 의존하며, 이는 시퀀스 길이에 비례해 커지는 대규모 중간 텐서를 유지하는 것을 정당화한다. 반면 추천 시스템은 토큰 수준의 지도 학습 없이 각 <user, item> 쌍에 대해 단일 관련성(relevance) 점수 집합을 산출한다. 이 관찰을 바탕으로, 우리는 개인화 랭킹을 컴팩트하고 통합된 <user, item> 지식 베이스의 반복적 정제(refinement)로 재구성하는 SlimPer를 제안한다. 각 층에서 모델은 원시(raw) 멀티모달(multi-modal) 사용자 측 토큰을 선택적으로 조회하고, 명시적인 관련성 매칭 점수를 계산하며, 지식 베이스를 정제한다. 이 모든 과정은 고정 크기의 중간 표현을 사용하여 층당 O(N) 비용으로 수행된다. 그 결과, 모델 깊이는 사용자 이력 길이와 분리(decoupled)되어, 연산 또는 메모리의 비례적 증가 없이 더 깊은 관련성 이해를 가능하게 한다. request-only 최적화(optimization)는 모든 후보 아이템에 걸쳐 사용자 측 토큰의 단일 복사본을 공유하여 메모리를 더욱 절감한다. SlimPer는 단일 백본(backbone) 내에서 희소(sparse), 밀집(dense), 시퀀스(sequence) 특징을 통합하고, 어텐션 메커니즘을 통해 내재적(inherent) 해석 가능성(interpretability)을 제공한다. Instagram Reels와 Feed에 배포한 결과, SlimPer는 전체 시스템을 간소화하고 1만 개 이상의 세밀한(fine-grained) 사용자 이력 이벤트의 효과적인 모델링을 가능하게 하면서 사용자 참여(user engagement)에서 측정 가능한 개선을 달성했다.

arXiv:2607.12392v1cs.IR공통 태그 Collaborative Filtering, Recommendation Systems, Information Retrieval

MESH: 이질적 콘텐츠 통합을 통한 검색 스케일링

MESH: Scaling Up Retrieval with Heterogeneous Content Unification

대규모 검색(retrieval) 최적화는 다양한 콘텐츠 계층에 걸쳐 후보를 효율적으로 노출하는 능력에 달려 있다. 그러나 최신(fresh) 및 롱테일(long-tail) 콘텐츠와 같은 영역을 포착하기 위해, 현대 시스템은 일반적으로 분절된 전문 검색 모델의 '동물원(zoo)'에 의존한다. 이러한 운영상 복잡성은 이질적 검색 시스템의 근본적 과제인 이질성의 스케일링 바이어스(Scaling Bias of Heterogeneity)에 기인하며, 여기서 모델 용량 증가가 다양한 콘텐츠 계층에 동일하게 적용되지 않는다. 이 격차를 메우기 위해, 우리는 게이트된 바이어스 보정이 통합된 모듈형 아키텍처를 통해 이러한 바이어스를 완화하는 통합 검색 스케일링 프레임워크로서 MESH를 제안한다. 특징(feature) 공간을 독립적인 도메인으로 분할함으로써, MESH는 희소 아이템 신호와 고빈도 참여 특징 간의 간섭을 줄이는 구조적 귀납 바이어스(inductive bias)를 강제한다. 이 보호된 그래디언트 경로는 희소 콘텐츠에 대한 개선된 스케일링 동작으로 이어지며, 최신 아이템에 대한 멱법칙(power-law) 스케일링 지수가 14배 개선된 것으로 실증적으로 검증되었다. Pinterest의 Related Pins 플랫폼—십억 규모의 아이템-대-아이템 추천 시스템—에서의 온라인 평가에서, 이러한 개선은 최신 아이템 리핀(repins)에서 +5.5% 향상, 퍼널(funnel) 효율 55% 개선, 사용자 유지율 +0.46% 향상으로 이어진다. 마지막으로, 비동기 서빙 전략은 시스템 처리량(throughput)을 2.87배 개선함으로써 프로덕션 적용 가능성을 보장한다. 우리의 발견은 MESH가 분절된 검색 인프라를 보다 확장 가능하고 생태계 인식(ecosystem-aware) 백본으로 통합하는 유망한 패러다임임을 시사한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.