Scene-adaptive Knowledge Distillation for Sequential Recommendation via Differentiable Architecture Search
원문 초록
Sequential recommender systems (SRS) have become a research hotspot due to its power in modeling user dynamic interests and sequential behavioral patterns. To maximize model expressive ability, a default choice is to apply a larger and deeper network architecture, which, however, often brings high network latency when generating online recommendations. Naturally, we argue that compressing the heavy recommendation models into middle- or light- weight neural networks is of great importance for practical production systems. To realize such a goal, we propose AdaRec, a knowledge distillation (KD) framework which compresses knowledge of a teacher model into a student model adaptively according to its recommendation scene by using differentiable Neural Architecture Search (NAS). Specifically, we introduce a target-oriented distillation loss to guide the structure search process for finding the student network architecture, and a cost-sensitive loss as constraints for model size, which achieves a superior trade-off between recommendation effectiveness and efficiency. In addition, we leverage Earth Mover's Distance (EMD) to realize many-to-many layer mapping during knowledge distillation, which enables each intermediate student layer to learn from other intermediate teacher layers adaptively. Extensive experiments on real-world recommendation datasets demonstrate that our model achieves competitive or better accuracy with notable inference speedup comparing to strong counterparts, while discovering diverse neural architectures for sequential recommender models under different recommendation scenes.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
단순한 근거 제시를 넘어 증거에 기반한 추론: LLM 기반 추천을 위한 검증 가능한 선호도 증명
Reasoning with Evidence, Not Merely Rationales: Verifiable Preference Proofs for LLM-Based Recommendation
대규모 언어 모델(LLM)은 상호작용 이력과 리뷰로부터 사용자의 선호도를 추론할 수 있지만, 모델이 생성하는 설명(rationale)은 추천에 실제로 사용된 정보를 반영하지 못할 수 있습니다. 선호도 주장이 선택된 증거에 의해 미약하게 뒷받침되거나 최종 순위에 거의 영향을 미치지 못할 수 있으며, 본 논문에서는 이러한 두 가지 실패를 그라운딩-영향력 격차(grounding-influence gap)라고 정의합니다. 본 연구에서는 LLM 기반 추천에서 검증 가능한 선호도 추론을 위한 일반적 프레임워크인 PROVE-REC을 소개합니다. 패스 A는 타깃 이전의 전체 이력을 선택된 증거 항목들과 연결된 긍정 및 회피 주장으로 구성된 간결한 선호도 증명으로 변환합니다. 패스 B는 이 증명과 선택된 증거만을 사용하여 다음 아이템을 예측함으로써 추천 시스템이 추론 경로를 우회하지 못하도록 방지합니다. 증거-증명 간 그라운딩을 검증하기 위해, 선택된 증거를 마스킹했을 때의 효과를 비교 가능한 대조군 항목을 마스킹했을 때와 비교합니다. 증명-추천 간 영향력을 검증하기 위해, 선호도 주장을 제거하고 그에 따른 타깃 아이템의 랭킹 마진(ranking margin) 감소를 측정합니다. 또한 순위 보존 목적함수를 통해 전체 이력에서 유용한 정보를 추가로 유지합니다. 다양한 실제 데이터셋에 대한 포괄적인 실험을 통해 PROVE-REC이 강력한 순차적, 생성형 및 LLM 강화 베이스라인을 일관되게 능가하며 최대 7.45%의 성능 향상을 달성함을 입증합니다. 통제된 소거 연구(ablation study)는 2단계 패스 아키텍처와 검증 목적함수의 효과를 확인해 줍니다. 나아가 PROVE-REC은 순위 품질을 보존하면서도 과거 증거에 더욱 강력하게 그라운딩되고 추천에 더 큰 영향력을 미치는 주장을 생성합니다.
순차 추천 시스템에서 시간적 귀속을 위한 설명 가능 방법의 체계적 벤치마크
A Systematic Benchmark of Explainable Methods for Temporal Attribution in Sequential Recommendation Systems
순차 추천 시스템(Sequential RecSys)은 현대 개인화의 중심에 있으며, 사용자의 과거 상호작용 시퀀스를 활용해 다음 단계 의사결정을 이끈다. 심층 학습 모델, 특히 CNN 및 트랜스포머 기반 아키텍처는 이러한 이력에서 시간적 의존성을 포착하는 데 매우 효과적임이 입증되었다. 투명성과 신뢰를 위해, 어떤 과거 상호작용이 특정 추천을 이끄는지 이해하는 것은 모델 행동을 감사하는 개발자와 근거를 원하는 사용자 모두에게 점점 더 중요해지고 있다. 그러나 이러한 모델에 예측력을 부여하는 비선형성은 동시에 블랙박스로 만들어, 의사결정을 특정 상호작용에 귀속하기 어렵게 한다. 그래디언트 기반, 교란(perturbation) 기반, 어텐션 기반 설명 가능성 방법은 존재하지만, 순차 추천에서 그 충실성(faithfulness)에 대한 체계적 벤치마크는 부재하다. 우리는 한 모델이 타임스텝별 귀속 점수를 제공하고, 별도로 학습된 마스킹-강건(masking-robust) 탐침(probe)이 예측 확률의 변화를 측정하는 이중 모델 마스킹 지표를 도입하여 이 공백을 메운다. 이 지표를 사용해 KuaiRand와 MovieLens에서 CNN, 트랜스포머, SASRec, BERT4Rec 백본에 걸쳐 열 가지 XAI 방법을 벤치마크하고, 시간적 귀속 패턴, 아이템 인기도 교란(confounding), 입력 손상에 대한 강건성 분석을 보완한다. 핵심 발견은 다음과 같다: (1) 그래디언트 기반 방법, 특히 GradientSHAP와 Integrated Gradients가 가장 충실하고 강건한 귀속을 제공한다; (2) 원시 어텐션 가중치는 신뢰할 수 없지만, 그래디언트 가중 어텐션은 더 짧은 시퀀스에서 충실성을 회복하며, 더 긴 구간에서는 소프트맥스 어텐션 확률이 균일한 중요도 점수로 수렴하면서 정보가 있는 상호작용을 식별하는 방법의 능력이 줄어들어 성능이 저하된다; (3) 충실한 방법에서의 시간적 귀속 패턴은 최근성(recency)이나 인기도 바이어스가 아니라 실제 과업 구조를 반영한다.
Obliviate: 추천 시스템에서의 효율적 언러닝
Obliviate: Efficient Unlearning in Recommender Systems
머신 언러닝(machine unlearning)은 데이터 프라이버시 규제 맥락에서 점점 더 중요해지고 있으며, 특히 사용자 상호작용 데이터로 직접 학습되는 추천 시스템에서 그렇다. 본 연구의 목표는 요청된 상호작용 데이터와 그 하류 영향을 학습된 모델에서 제거하면서 추천 품질을 유지하고, 전체 재학습(full retraining)에 따르는 상당한 계산 비용 없이 이를 달성하는 것이다. 기존 접근법은 언러닝 완전성의 한계와 추천 성능 저하, 그리고 상당한 계산 오버헤드 등 여러 한계를 보인다. 본 논문에서는 추천 시스템을 위한 효율적인 2단계 언러닝 프레임워크인 Obliviate를 제안하며, 이는 높은 언러닝 완전성을 달성하면서도 좋은 유틸리티(utility)를 유지한다. 1단계에서는 Low-Rank Unlearning Adapter(LUA)를 도입하며, 이는 경량 헤시안 프록시를 사용하여 전체 파라미터가 아닌 국소적 저랭크 어댑터를 통해 곡률 인식(curvature-aware)적이고 효율적인 언러닝을 가능하게 한다. 2단계에서는 Locality-Aware Calibration(LAC)을 제안하며, 이는 경량 정제 단계로 어댑터 파라미터만 업데이트하여 랭킹 기반 목적 함수를 통해 언러닝을 강제하고 지식 증류를 통해 유틸리티를 유지함으로써 성능을 개선한다. 광범위한 실험 평가를 통해 Obliviate가 추천 품질의 최소한의 손실로 높은 수준의 망각(forgetting)을 달성하고 계산 비용을 크게 줄였음을 보여주며, 대규모 추천 시스템을 위한 실용적이고 확장 가능한 해결책을 제공한다.
Adaptive Search-and-Training for Robust and Efficient Network Pruning
Revisiting Graph based Social Recommendation: A Distillation Enhanced Social Graph Network
ARERec: Attentive Local Interaction Model for Sequential Recommendation
토론
이 논문과 연결된 포럼 글이 아직 없습니다.