RecMem: 장기 시퀀스 생성형 추천을 위한 순환 메모리 압축
RecMem: Recurrent Memory Compression for Long-Sequence Generative Recommendation
한국어 초록
생성형 추천은 긴 상호작용 이력으로부터 이득을 얻지만, 이를 직접 처리하는 비용은 이력 길이에 따라 증가한다. 본 논문은 공간 불변성, 의미 충실성, 평생 진화 가능성이라는 세 가지 요건을 바탕으로 한 순환 메모리 압축 프레임워크 RecMem을 제안한다. RecMem은 하위 계층을 공유하는 분기형 인코더-디코더와 슬롯별 망각 게이트 갱신을 사용하여 과거 구간을 고정된 개수의 메모리 슬롯으로 압축한다. 추천 지도 학습은 메모리가 예측 정보를 보존하도록 학습시키며, 스트림 일관성 학습은 순차 처리와 패킹 처리에서 나온 예측을 정렬한다. 구성상 메모리 상태와 디코더 컨텍스트는 이력 길이와 무관하다. 수축성과 근사 반군 일관성 하에서, 이 두 처리 순서 사이의 상태 불일치에 대해 이력 범위와 무관한 상계도 도출한다. MerRec에서 RecMem은 16개의 메모리 슬롯과 216 토큰의 디코더 컨텍스트를 사용하는데, 이는 HSTU-1200의 1,200 토큰과 비교되며, HSTU-1200의 Recall@10의 87.9%와 Recall@200의 97.0%를 유지한다. RecMem은 PHSTU와 평가된 최근 이력 전용 및 검색 기반 기준선을 능가하며, 먼 과거 이력에 대한 분석은 보관된 상호작용이 예측 신호에 기여함을 보여준다.
원문 초록
Generative recommendation benefits from long interaction histories, but the cost of processing them directly grows with history length. We propose RecMem, a recurrent memory compression framework guided by three desiderata: space invariance, semantic fidelity, and lifelong evolvability. RecMem compresses historical segments into a fixed set of memory slots using a bifurcated encoder-decoder with shared lower layers and slot-wise forget-gated updates. Recommendation supervision trains the memory to preserve predictive information, while stream-consistency training aligns predictions from sequential and packed processing. By construction, the memory state and decoder context are independent of history length; under contraction and approximate semigroup consistency, we further derive a horizon-independent bound on the state discrepancy between these two processing orders. On MerRec, RecMem uses 16 memory slots and a 216-token decoder context, compared with 1,200 tokens for HSTU-1200, while retaining 87.9% of HSTU-1200's Recall@10 and 97.0% of its Recall@200. It outperforms PHSTU and the evaluated recent-only and retrieval baselines, and analyses of distant history show that archived interactions contribute predictive signal.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
Accepted at NeurIPS 2026