arXiv:2305.07622

PALR: Personalization Aware LLMs for Recommendation

Fan Yang, Zheng Chen, Ziyan Jiang, Eunah Cho, Xiaojiang Huang, Yanbin Lu

제출 2023-05-12

원문 초록

Large language models (LLMs) have recently received significant attention for their exceptional capabilities. Despite extensive efforts in developing general-purpose LLMs that can be utilized in various natural language processing (NLP) tasks, there has been less research exploring their potential in recommender systems. In this paper, we propose a novel framework, named PALR, which aiming to combine user history behaviors (such as clicks, purchases, ratings, etc.) with LLMs to generate user preferred items. Specifically, we first use user/item interactions as guidance for candidate retrieval. Then we adopt a LLM-based ranking model to generate recommended items. Unlike existing approaches that typically adopt general-purpose LLMs for zero/few-shot recommendation testing or training on small-sized language models (with less than 1 billion parameters), which cannot fully elicit LLMs' reasoning abilities and leverage rich item side parametric knowledge, we fine-tune a 7 billion parameters LLM for the ranking purpose. This model takes retrieval candidates in natural language format as input, with instruction which explicitly asking to select results from input candidates during inference. Our experimental results demonstrate that our solution outperforms state-of-the-art models on various sequential recommendation tasks.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.08663v2cs.LG공통 태그 Retrieval, Recommendation Systems

MoEMB: 효율적인 전문가 혼합 모델을 통한 범용 멀티모달 임베딩 확장

MoEMB: Scaling Universal Multimodal Embeddings with Efficient Mixture-of-Experts Models

범용 멀티모달 임베딩(Universal Multimodal Embedding, UME)은 복잡성이 높아진 광범위한 태스크와 모달리티를 처리하기 위해 인코더의 용량을 점점 더 많이 요구하고 있습니다. 기존의 스케일링 방법들은 표현(representation) 크기나 검색 비용을 늘리거나, 인코더를 무거운 멀티모달 LLM으로 확장했습니다. Think-Then-Embed(TTE)와 같은 최근 연구들은 추론(reasoning) 토큰을 통한 확장을 탐색하고 있습니다. 그러나 임베딩 모델은 확장이 어렵습니다. 매개변수를 늘리면 대조 학습(contrastive learning)에 필요한 대규모 학습 배치의 크기와 직접적인 트레이드오프가 발생하며, 검색은 엄격한 지연 시간(latency) 내에 제공되어야 하기 때문입니다. 또한, UME 태스크는 복잡성이 다양한데, 임베더를 무작정 확장하면 상당한 중복 연산이 발생할 수 있습니다. 본 연구에서는 전문가 혼합(MoE)을 통해 전문가 축을 따라 UME를 확장하여, 단일 벡터 및 비-자기회귀(non-autoregressive) 인코딩을 유지하면서 인코더 용량을 늘리는 MOEMB를 제안합니다. MoE 기반 UME의 설계 공간과 학습 레시피에 대한 체계적인 연구를 통해, MoEMB는 공개된 MMEB 패밀리 데이터로 학습된 모델 중 MMEB-V2 및 MRMR 모두에서 새로운 SOTA(state of the art)를 달성했습니다. MoEMB는 활성 매개변수가 3B에 불과함에도 활성 매개변수가 4배 이상 많은 TTE 기반 방법들을 훨씬 적은 연산량으로 능가합니다. 확장성과 효율성을 더욱 개선하기 위해, 저자들은 학습 기반 및 추론 전용 방식에 걸친 다양한 전략을 아우르며 MoE 기반 임베딩을 위한 적응형 연산(adaptive computation)에 대한 최초의 종합적인 연구를 수행했습니다. 종합적으로 이러한 결과들은 전문가 확장이 UME를 위한 효과적이고 효율적인 방향임을 뒷받침하며, 적응형 연산은 대규모 검색 및 추천 시스템을 향한 MLLM 기반 임베딩 모델의 효율성을 더욱 향상시킵니다.

arXiv:2610.02968v1cs.AI공통 태그 Recommendation Systems, Sequential Recommendation

단순한 근거 제시를 넘어 증거에 기반한 추론: LLM 기반 추천을 위한 검증 가능한 선호도 증명

Reasoning with Evidence, Not Merely Rationales: Verifiable Preference Proofs for LLM-Based Recommendation

대규모 언어 모델(LLM)은 상호작용 이력과 리뷰로부터 사용자의 선호도를 추론할 수 있지만, 모델이 생성하는 설명(rationale)은 추천에 실제로 사용된 정보를 반영하지 못할 수 있습니다. 선호도 주장이 선택된 증거에 의해 미약하게 뒷받침되거나 최종 순위에 거의 영향을 미치지 못할 수 있으며, 본 논문에서는 이러한 두 가지 실패를 그라운딩-영향력 격차(grounding-influence gap)라고 정의합니다. 본 연구에서는 LLM 기반 추천에서 검증 가능한 선호도 추론을 위한 일반적 프레임워크인 PROVE-REC을 소개합니다. 패스 A는 타깃 이전의 전체 이력을 선택된 증거 항목들과 연결된 긍정 및 회피 주장으로 구성된 간결한 선호도 증명으로 변환합니다. 패스 B는 이 증명과 선택된 증거만을 사용하여 다음 아이템을 예측함으로써 추천 시스템이 추론 경로를 우회하지 못하도록 방지합니다. 증거-증명 간 그라운딩을 검증하기 위해, 선택된 증거를 마스킹했을 때의 효과를 비교 가능한 대조군 항목을 마스킹했을 때와 비교합니다. 증명-추천 간 영향력을 검증하기 위해, 선호도 주장을 제거하고 그에 따른 타깃 아이템의 랭킹 마진(ranking margin) 감소를 측정합니다. 또한 순위 보존 목적함수를 통해 전체 이력에서 유용한 정보를 추가로 유지합니다. 다양한 실제 데이터셋에 대한 포괄적인 실험을 통해 PROVE-REC이 강력한 순차적, 생성형 및 LLM 강화 베이스라인을 일관되게 능가하며 최대 7.45%의 성능 향상을 달성함을 입증합니다. 통제된 소거 연구(ablation study)는 2단계 패스 아키텍처와 검증 목적함수의 효과를 확인해 줍니다. 나아가 PROVE-REC은 순위 품질을 보존하면서도 과거 증거에 더욱 강력하게 그라운딩되고 추천에 더 큰 영향력을 미치는 주장을 생성합니다.

arXiv:2609.27155v1cs.CR공통 태그 Retrieval, Recommendation Systems

좋아요 함정: 유사도 기반 추천 시스템에서 에이전트를 겨냥한 다단계 포이즈닝 공격

The Like Trap: Multi-Stage Poisoning against Agents in Similarity-based Recommendation Systems

대규모 언어 모델(LLM) 및 LLM 기반 에이전트(agent)의 최근 발전과 함께, 이러한 에이전트들은 점차 자율성을 갖추며 인터넷상에서 사용자를 대신해 행동할 수 있는 더 넓은 접근 권한을 얻고 있다. 그러나 소셜 미디어 플랫폼에 배포된 자동화된 에이전트(예: 사용자의 개인 계정 관리)의 취약성은 아직 충분히 연구되지 않았다. 에이전트 포이즈닝에 관한 기존 연구들은 일반적으로 공격자가 에이전트에게 오염된 콘텐츠를 직접 노출할 수 있다고 가정한다. 이러한 공격은 직접적이고 효과적이지만, 감지 및 완화가 더 쉽다. 소셜 미디어 플랫폼 맥락에서는 추천 시스템 자체가 보다 은밀한 방식으로 이러한 콘텐츠를 에이전트에게 노출할 수 있는지 여부가 여전히 미해결 과제로 남아 있다. 이론적 분석을 통해 본 연구는 OASIS에서 사용되는 좋아요 점수(like-score) 메커니즘이 악용될 수 있음을 보이고, 다단계로 이루어진 오염된 게시물 연쇄가 에이전트의 피드를 유도할 수 있는 조건을 규명한다. 이러한 통찰을 바탕으로, 우리는 사실적인 오염 게시물을 제작하는 알고리즘을 추가로 개발한다. 실험을 통해 이론적 발견을 뒷받침하고 제안된 알고리즘의 효과를 입증한다. 특히, 좋아요 점수 피드백 루프를 악용함으로써 이 공격은 오염된 게시물의 사용자-게시물 유사도가 검색 임계값 미만으로 떨어지는 경우에도 추천 시스템이 해당 게시물을 선택하도록 만든다.

arXiv:2609.27201v1cs.LG공통 태그 Recommendation Systems, Sequential Recommendation

순차 추천 시스템에서 시간적 귀속을 위한 설명 가능 방법의 체계적 벤치마크

A Systematic Benchmark of Explainable Methods for Temporal Attribution in Sequential Recommendation Systems

순차 추천 시스템(Sequential RecSys)은 현대 개인화의 중심에 있으며, 사용자의 과거 상호작용 시퀀스를 활용해 다음 단계 의사결정을 이끈다. 심층 학습 모델, 특히 CNN 및 트랜스포머 기반 아키텍처는 이러한 이력에서 시간적 의존성을 포착하는 데 매우 효과적임이 입증되었다. 투명성과 신뢰를 위해, 어떤 과거 상호작용이 특정 추천을 이끄는지 이해하는 것은 모델 행동을 감사하는 개발자와 근거를 원하는 사용자 모두에게 점점 더 중요해지고 있다. 그러나 이러한 모델에 예측력을 부여하는 비선형성은 동시에 블랙박스로 만들어, 의사결정을 특정 상호작용에 귀속하기 어렵게 한다. 그래디언트 기반, 교란(perturbation) 기반, 어텐션 기반 설명 가능성 방법은 존재하지만, 순차 추천에서 그 충실성(faithfulness)에 대한 체계적 벤치마크는 부재하다. 우리는 한 모델이 타임스텝별 귀속 점수를 제공하고, 별도로 학습된 마스킹-강건(masking-robust) 탐침(probe)이 예측 확률의 변화를 측정하는 이중 모델 마스킹 지표를 도입하여 이 공백을 메운다. 이 지표를 사용해 KuaiRand와 MovieLens에서 CNN, 트랜스포머, SASRec, BERT4Rec 백본에 걸쳐 열 가지 XAI 방법을 벤치마크하고, 시간적 귀속 패턴, 아이템 인기도 교란(confounding), 입력 손상에 대한 강건성 분석을 보완한다. 핵심 발견은 다음과 같다: (1) 그래디언트 기반 방법, 특히 GradientSHAP와 Integrated Gradients가 가장 충실하고 강건한 귀속을 제공한다; (2) 원시 어텐션 가중치는 신뢰할 수 없지만, 그래디언트 가중 어텐션은 더 짧은 시퀀스에서 충실성을 회복하며, 더 긴 구간에서는 소프트맥스 어텐션 확률이 균일한 중요도 점수로 수렴하면서 정보가 있는 상호작용을 식별하는 방법의 능력이 줄어들어 성능이 저하된다; (3) 충실한 방법에서의 시간적 귀속 패턴은 최근성(recency)이나 인기도 바이어스가 아니라 실제 과업 구조를 반영한다.

arXiv:2609.27953v1cs.IR공통 태그 Retrieval, Recommendation Systems

LLM 추천 리랭킹의 재현율 한계

The Recall Ceiling of LLM Recommendation Reranking

일부 LLM 기반 추천 리랭커는 정답 아이템이 평가 대상 집합에 반드시 존재하도록 보장하는 오라클 프로토콜로 평가된다. 이는 정답 아이템을 후보 목록에 주입하거나 샘플링된 네거티브와 비교하여 점수를 매기는 방식으로 이루어진다. 세 개의 주요 Amazon 데이터셋에서 이 프로토콜이 현실적인 NDCG@10을 92~95% 과대평가함을 보인다. 그 원인은 재현율 한계(recall ceiling)에 있다. 세 개 도메인의 여덟 개 데이터셋에 걸쳐, 현실적인 검색(retrieval)은 $K=100$에서 관련 아이템의 2~19%만을 포착하며, 이는 모든 폐쇄 후보(closed-candidate) 리랭커의 top-$k$ NDCG에 결정론적 상한을 부과한다. 리브-원-아웃(leave-one-out) 평가에서는 $\mathbb{E}[\mathrm{NDCG}@k] \leq \mathrm{Recall}@|W_\pi|$가 성립하며, 여기서 $W_\pi$는 리랭커의 후보 윈도우이다. 현실적인 검색 조건에서는 우리의 주요 Amazon 데이터셋에서 테스트한 어떤 최적화 전략도 협업 필터링(CF) 기준선을 유의미하게 개선하지 못한다. 이러한 전략에는 프롬프트 엔지니어링, 168배 매개변수 범위에 걸친 모델 스케일링, 순차 모델, 지도 학습 기반 신경망 리랭커, LoRA 미세조정, 하이브리드 검색, 점수 인지(score-aware) 프롬프팅, LLM+CF 융합이 포함된다. 텍스트 인지(text-aware) 검색은 한 데이터셋에서 재현율을 높이지만 종단 간(end-to-end) NDCG를 개선하지는 못하며, 상위 단계의 CF 점수를 제공하면 주로 LLM이 CF의 순서를 그대로 재현하게 된다. 따라서 우리는 재현율 인지 평가 프로토콜(Recall-Aware Evaluation Protocol, RAEP)을 제안한다. 먼저 검색 재현율 구간(regime)을 분류한 뒤, 상한이 의미 있는 차별화를 허용하는 경우에 한해 리랭킹을 평가하는 것이다. 여기서 측정된 낮은 재현율 구간에서는 리랭커의 정교함을 높이는 것보다 검색을 개선하는 것이 더 중요하다. 다만 이러한 순서가 더 높은 재현율, 더 풍부한 특징, 또는 온라인 피드백을 갖춘 프로덕션 시스템에서도 반드시 성립하는 것은 아니다.

arXiv:2609.26218v1cs.IR공통 태그 Retrieval, Recommendation Systems

학술 출판 네트워크에 대한 시맨틱 접근법: OpenAlex 데이터 기반 문서 벡터 표현 및 하이브리드 구조적-시맨틱 융합

A Semantic Approach to the Academic Publishing Network: Document Vector Representations and Hybrid Structural-Semantic Fusion over OpenAlex Data

학술 출판 네트워크에 대한 구조적 그래프 분석은 엔티티 간의 위상학적 관계를 포착하지만 연구 저작물의 내용은 파악하지 못합니다. 본 연구는 기존 구조적 접근법을 바탕으로 시맨틱 층(layer)과 매개변수화된 구조적-시맨틱 융합을 통해 이를 보완합니다. 우리는 과학 문헌을 인용 정보 기반 벡터 임베딩(SPECTER2)으로 표현하고, 고유한 OpenAlex ID를 키로 하여 임베디드 벡터 데이터베이스에 저장함으로써 그래프 층과 직접 연결되도록 합니다. 또한 시맨틱 유사도(임베딩의 코사인 유사도)와 구조적 유사도(서지 결합)를 특정 태스크에 따라 값이 선택되는 조정 가능한 가중치(weight) 알파(alpha)로 결합하는 모듈형 후기 융합 함수를 정의합니다. VSB - Technical University of Ostrava 코퍼스를 대상으로 두 가지를 보여줍니다. 즉, 인용 정보 기반 임베딩은 TF-IDF 기준선(baseline)보다 전문가가 구축한 OpenAlex 주제 분류 체계와 더 잘 일치하며, 추천 활용 사례에서는 가용 데이터에 따라 구조적, 시맨틱 및 결합된 신호가 서로 다른 체계에서 정보를 전달한다는 점입니다. 여기서 하이브리드 융합은 보편적으로 더 우수한 방법이라기보다는 태스크에 맞추어 상호 보완적인 신호를 제어하기 위한 명시적 메커니즘입니다. 우리는 재현 가능한 워크플로와 함께 전체 접근법을 apnet 라이브러리의 오픈 소스 확장으로 공개합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.