Mixture of Sequence: Theme-Aware Mixture-of-Experts for Long-Sequence Recommendation
한국어 초록
순차 추천은 동적 사용자 관심사를 모델링할 수 있는 능력으로 인해 클릭률 예측에서 빠르게 발전해왔다. 그러나 핵심 과제는 긴 시퀀스를 모델링하는 것이다: 사용자는 종종 상당한 관심사 변화를 보이며, 이는 상당한 관련 없는 또는 오도적인 정보를 도입한다. 우리의 경험적 분석은 이러한 과제를 뒷받침하고 긴 시퀀스에서 반복되는 행동 패턴인 세션 호핑(session hopping)을 발견했다: 사용자 관심사는 짧은 시간 범위(세션) 내에서는 안정적이지만 세션 간에는 급격하게 변하며, 여러 세션 이후에 재등장할 수 있다. 이러한 과제를 해결하기 위해 우리는 시퀀스 혼합(Mixture of Sequence, MoS) 프레임워크를 제안한다. 이는 모델 독립적 전문가 혼합(MoE) 접근법으로, 노이즈가 많은 원시 사용자 시퀀스에서 테마 특정 및 다중 스케일 부분 시퀀스를 추출하여 정확한 예측을 달성한다. 첫째, MoS는 테마 인식 라우팅 메커니즘을 채택하여 사용자 시퀀스의 잠재 테마를 적응적으로 학습하고 이러한 시퀀스를 여러 일관된 부분 시퀀스로 구성한다. 각 부분 시퀀스는 특정 테마와 일치하는 세션만을 포함하므로, 세션 호핑에서 사용자 관심사 변화로 인해 도입되는 관련 없는 또는 오도적인 정보를 효과적으로 필터링한다. 또한, 잠재적 정보 손실을 완화하기 위해 다중 스케일 융합 메커니즘을 도입한다. 이 메커니즘은 세 가지 종류의 전문가를 활용하여 전체 시퀀스 특성, 단기 사용자 행동 및 테마 특정 의미론적 패턴을 포착한다. 이 두 메커니즘은 MoS가 다면적이고 다중 스케일의 관점에서 정확한 추천을 제공할 수 있도록 한다. 실험 결과는 MoS가 다른 MoE 모델과 비교하여 더 적은 FLOPs을 도입하면서 지속적으로 최첨단(SOTA) 성능을 달성함을 보여주며, 이는 성능과 효율성 사이의 우수한 균형에 대한 강력한 증거를 제공한다. 코드는 https://github.com/xiaolin-cs/MoS에서 이용 가능하다.
요약
순차 추천(Sequential Recommendation) 시스템에서 장문 수열을 모델링하는 것은 사용자 관심사의 급격한 변화와 이에 따른 노이즈 정보 증가라는 근본적인 도전을 마주하게 됩니다. 본 논문에서는 사용자가 단기적으로 안정적인 관심을 유지하지만 장기적으로는 여러 테마 간 관심이 급변하고 이전 관심이 주기적으로 재출현하는 세션 홉핑(Session Hopping) 현상을 처음으로 체계적으로 분석하여 이러한 도전의 근원을 규명합니다. 이러한 통찰을 바탕으로 제안되는 Mixture of Sequence (MoS) 프레임워크는 모델-무관의 혼합 전문가 접근 방식으로, 테마 인식 라우팅 메커니즘을 통해 사용자 수열에 내재된 잠재적 테마를 적응적으로 학습하고 이를 기반으로 테마별 응집성 있는 부분 수열을 자동으로 구성함으로써 관심사 변화로 인한 노이즈를 효과적으로 필터링합니다. 더불어 멀티스케일 퓨전 메커니즘은 전역적 수열 특성, 단기 사용자 행동, 테마별 의미적 패턴을 포착하는 세 가지 유형의 전문가를 활용하여 테마별 구조화로 인한 정보 손실을 완화하면서도 다각적 관점에서의 정보를 통합합니다. MoS는 기존의 RNN, Transformer, 그래프 신경망 등 다양한 순차 추천 아키텍처와 유연하게 결합될 수 있는 범용성을 지니며, 실험을 통해 다른 혼합 전문가 방법들에 비해 현저히 적은 부동소수점 연산(Floating Point Operations, FLOPs)으로 최첨단(State-of-the-Art, SOTA) 성능을 달성함을 입증합니다. 본 논문의 기여는 장문 수열 추천의 핵심 도전을 설명하는 새로운 관점 제시, 세션 홉핑 패턴을 직접 해결하는 혁신적 기법 개발, 그리고 높은 정확도와 계산 효율성을 동시에 달성하는 실용적 솔루션 제공에 있으며, 공개된 코드를 통해 산업계와 학계 모두에 기여할 수 있는 토대를 마련합니다.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.