arXiv:2305.01204

Structure Aware Incremental Learning with Personalized Imitation Weights for Recommender Systems

Yuening Wang, Yingxue Zhang, Antonios Valkanas, Ruiming Tang, Chen Ma, Jianye Hao, Mark Coates

제출 2023-05-02

원문 초록

Recommender systems now consume large-scale data and play a significant role in improving user experience. Graph Neural Networks (GNNs) have emerged as one of the most effective recommender system models because they model the rich relational information. The ever-growing volume of data can make training GNNs prohibitively expensive. To address this, previous attempts propose to train the GNN models incrementally as new data blocks arrive. Feature and structure knowledge distillation techniques have been explored to allow the GNN model to train in a fast incremental fashion while alleviating the catastrophic forgetting problem. However, preserving the same amount of the historical information for all users is sub-optimal since it fails to take into account the dynamics of each user's change of preferences. For the users whose interests shift substantially, retaining too much of the old knowledge can overly constrain the model, preventing it from quickly adapting to the users' novel interests. In contrast, for users who have static preferences, model performance can benefit greatly from preserving as much of the user's long-term preferences as possible. In this work, we propose a novel training strategy that adaptively learns personalized imitation weights for each user to balance the contribution from the recent data and the amount of knowledge to be distilled from previous time periods. We demonstrate the effectiveness of learning imitation weights via a comparison on five diverse datasets for three state-of-art structure distillation based recommender systems. The performance shows consistent improvement over competitive incremental learning techninques.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.22665v1cs.AI공통 태그 Recommendation Systems, Knowledge Distillation

Obliviate: 추천 시스템에서의 효율적 언러닝

Obliviate: Efficient Unlearning in Recommender Systems

머신 언러닝(machine unlearning)은 데이터 프라이버시 규제 맥락에서 점점 더 중요해지고 있으며, 특히 사용자 상호작용 데이터로 직접 학습되는 추천 시스템에서 그렇다. 본 연구의 목표는 요청된 상호작용 데이터와 그 하류 영향을 학습된 모델에서 제거하면서 추천 품질을 유지하고, 전체 재학습(full retraining)에 따르는 상당한 계산 비용 없이 이를 달성하는 것이다. 기존 접근법은 언러닝 완전성의 한계와 추천 성능 저하, 그리고 상당한 계산 오버헤드 등 여러 한계를 보인다. 본 논문에서는 추천 시스템을 위한 효율적인 2단계 언러닝 프레임워크인 Obliviate를 제안하며, 이는 높은 언러닝 완전성을 달성하면서도 좋은 유틸리티(utility)를 유지한다. 1단계에서는 Low-Rank Unlearning Adapter(LUA)를 도입하며, 이는 경량 헤시안 프록시를 사용하여 전체 파라미터가 아닌 국소적 저랭크 어댑터를 통해 곡률 인식(curvature-aware)적이고 효율적인 언러닝을 가능하게 한다. 2단계에서는 Locality-Aware Calibration(LAC)을 제안하며, 이는 경량 정제 단계로 어댑터 파라미터만 업데이트하여 랭킹 기반 목적 함수를 통해 언러닝을 강제하고 지식 증류를 통해 유틸리티를 유지함으로써 성능을 개선한다. 광범위한 실험 평가를 통해 Obliviate가 추천 품질의 최소한의 손실로 높은 수준의 망각(forgetting)을 달성하고 계산 비용을 크게 줄였음을 보여주며, 대규모 추천 시스템을 위한 실용적이고 확장 가능한 해결책을 제공한다.

arXiv:2607.15242v1cs.LG공통 태그 Incremental Learning, Recommendation Systems

재학습 없는 추천을 위한 가변 저랭크 스케치

Mutable Low-Rank Sketches for Retrain-Free Recommendation

2단계 추천에서 흔한 병목은 임베딩 노후화(staleness)입니다. 사용자가 새 항목을 평가하면, 다음 재학습 주기까지 그들의 임베딩은 고정된 채로 남습니다. 우리는 mutable sketch를 제안합니다. 이는 각 사용자의 선호도를 KP-tree(합 집계를 갖는 희소 세그먼트 트리)에 저장하고, 저랭크 투영을 한 번 적합한 뒤, 평가가 도착할 때마다 임베딩을 즉석에서 재계산합니다. 각 새 관측이 예측 오차 범위를 단조적으로 좁힌다는 것을 증명합니다(Theorem 1). 이는 FunkSVD와 eALS에는 없는 보장입니다. KuaiRec에서 mutable sketch는 데이터 읽기 1.8%로 RMSE 0.810을 달성한 반면, ALS는 100%에서 0.822를 기록했으며, 배치당 업데이트는 8배 더 빠릅니다. 새 사용자는 첫 평가 이후 1 ms 미만 만에 개인화된 추천을 받을 수 있으며, 모델 재학습은 필요하지 않습니다. 밀도 구간별 샘플링 전략 비교에 따르면, KP-tree의 노름 비례(norm-proportional) 샘플링은 희소 데이터(밀도 <1%)에서 항목 커버리지를 40–130% 더 높이는 반면, 밀집 행렬에서는 균등 샘플링으로 충분합니다.

arXiv:2607.19358v3cs.AI공통 태그 Knowledge Distillation

LISA: 효율적 긴 컨텍스트 추론을 위한 Linear-Indexed Sparse Attention

LISA: Linear-Indexed Sparse Attention for Efficient Long-Context Reasoning

DeepSeek-R1과 같은 긴 사고 사슬(CoT) 추론 모델은 테스트 시점 스케일링 하에서 추론 사슬을 계속 늘리고 있으나, 표준 셀프 어텐션은 문맥 길이에 대해 이차 비용이 들어 긴 CoT의 실서비스 배포를 고비용으로 만든다. 이에 본 논문은 전체 사전학습이 필요 없는 셀프 어텐션의 플러그 앤 플레이 대체 방식인 LISA(Linear-Indexed Sparse Attention)를 제안한다. LISA는 장거리 메모리를 위한 선형 어텐션 분기와, 희소 셀프 어텐션 분기를 위해 가장 관련성 높은 토큰을 동적으로 선택하는 Lightning Indexer를 결합한다. 두 분기는 학습된 게이트를 통해 융합되어, 모델이 폭넓은 문맥을 유지하면서 연산을 정보량이 많은 토큰에 집중시킨다. LISA는 두 단계로 학습한다. 1단계에서는 선형 어텐션 분기를 슬라이딩 윈도 어텐션과 통합하고, 고정된 교사 모델의 전체 어텐션 분포로부터 증류한다. 2단계에서는 Lightning Indexer가 정적 윈도를 대체하며, 교사의 어텐션 패턴을 모방하도록 헤드별 KL 발산 목적함수로 학습된다. 그 결과 모델은 eager 모드 셀프 어텐션 연산을 시퀀스 길이에 대한 이차에서, 생성된 토큰 수와 선택된 문맥 예산에 대한 선형으로 줄인다. DeepSeek 증류 Qwen 모델에 대한 실험에서 LISA는 긴 문맥 추론 품질을 저하시키지 않으면서 16K 문맥에서 측정된 eager 모드 평균 샘플 지연 시간을 23.9% 줄인다. 9개의 수학 및 코드 추론 벤치마크 전반에서 게이트 방식 LISA-1.5B 모델은 전체 어텐션 기준 모델 대비 동일 가중 벤치마크 평균을 4.2%p 향상시킨다.

arXiv:2610.02283v2cs.LG공통 태그 Incremental Learning

MLoRA: 상대 응답 부분공간 선택과 모멘텀 직교화를 통한 지속적 저랭크 적응

MLoRA:Continual Low-Rank Adaptation via Relative-Response Subspace Selection and Momentum Orthogonalization

저랭크 적응(LoRA)은 지속 학습을 위한 매개변수 효율적 접근법을 제공하지만, 명목상의 랭크가 유효 적응 용량의 손실을 가릴 수 있다. 우리는 \emph{스펙트럼 가소성 붕괴}를 규명한다. 순차적 적응 중 업데이트 에너지가 소수의 특이 모드에 집중되어, 사용 가능한 저랭크 공간의 상당 부분이 활용되지 못한다. 이는 간섭 회피만으로는 한계가 있음을 드러낸다. 과거 표현을 보호한다고 해서 남은 적응 용량이 새로운 과제에 반응하거나 효과적으로 활용된다는 보장은 없다. 이 문제를 해결하기 위해 우리는 용량 할당과 활용을 함께 제어하는 \texttt{MLoRA}를 제안한다. 첫째, 과거 화이트닝은 누적된 과거 응답에 비해 현재 과제 응답이 강한 입력 방향을 식별하여, 학습 중 고정되는 과제 적응형 기저를 만든다. 둘째, 모멘텀 업데이트의 근사 극분해(polar) 직교화는 선택된 공간 내의 스펙트럼 집중을 줄인다. 정규직교 기저는 인자 업데이트의 스펙트럼을 유도된 가중치 업데이트로 정확히 전달함으로써 이 두 메커니즘을 연결한다. 우리는 정확한 부분공간 선택에 대한 max-min 특성화를 수립하고, 제어된 단계 간 비등방성 하에서 누적 스펙트럼 경계를 도출한다. 다섯 개의 클래스 증분 벤치마크와 여덟 가지 증분 설정에서 \texttt{MuLoRA}는 보고된 16개 지표 중 15개에서 가장 높은 평균 정확도를 달성한다.

arXiv:2610.13740v2cs.RO공통 태그 Knowledge Distillation

SmolWAM: 엣지 디바이스 로봇 조작을 위한 잠재 월드-액션 모델

SmolWAM: A Latent World-Action Model for Robotic Manipulation on Edge Devices

월드-액션 모델(WAM)은 로봇 행동과 미래 관측을 함께 예측하지만, 비디오 확산 백본은 엣지 배포에 비용이 크다. 본 연구는 단일 프레임 인코딩, 어텐션 싱크를 보존한 캐시된 텍스트 특징, 깊이 가지치기, 토큰 압축을 사용하여 20억 파라미터의 Cosmos Policy로부터 도출한 소형 잠재 WAM인 SmolWAM을 제안한다. 28개 트랜스포머 블록 중 12개와 1,008개 토큰으로 SmolWAM은 한 번의 rectified-flow 단계에서 행동과 미래 잠재 변수를 예측한다. A100 GPU 3.6시간의 학습 후, 400개의 LIBERO 에피소드에서 95.5%의 성공률을 달성하며, A100에서 16개 행동 청크당 57ms, 2.3TFLOP, 2.4GiB를 사용하여 5단계 교사 대비 지연 시간은 11배, 메모리는 3.2배 낮다. 월드 헤드는 장면의 움직임을 예측하며, 공동 학습은 행동 전용 어블레이션보다 성공률을 6.2퍼센트포인트 향상시킨다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.