HyTRec: A Hybrid Temporal-Aware Attention Architecture for Long Behavior Sequential Recommendation
한국어 초록
사용자 행동의 긴 시퀀스를 모델링하는 것은 생성적 추천에서 중요한 경계로 떠올랐습니다. 그러나 기존 솔루션은 딜레마에 직면해 있습니다: 선형 어텐션 메커니즘은 제한된 상태 용량으로 인해 검색 정확도를 희생하면서 효율성을 달성하는 반면, 소프트맥스 어텐션은 막대한 계산 오버헤드로 어려움을 겪고 있습니다. 이 문제를 해결하기 위해, 우리는 장기적으로 안정적인 선호도를 단기적인 의도 급증과 명확히 분리하는 하이브리드 어텐션 아키텍처를 특징으로 하는 모델인 HyTRec을 제안합니다. 대규모의 역사적 시퀀스를 선형 어텐션 브랜치에 할당하고 최근 상호작용을 위한 전문 소프트맥스 어텐션 브랜치를 예약함으로써, 우리의 접근 방식은 만 상호작용이 포함된 산업 규모의 맥락에서 정확한 검색 능력을 회복합니다. 선형 레이어 내에서 빠른 관심 변화 포착의 지연을 완화하기 위해, 우리는 또한 신선한 행동 신호의 가중치를 동적으로 증가시키면서 역사적 노이즈를 효과적으로 억제하는 시간 인식 델타 네트워크(Temporal-Aware Delta Network, TADN)를 설계하였습니다. 산업 규모 데이터셋에 대한 실험 결과는 우리의 모델이 선형 추론 속도를 유지하며 강력한 기준선보다 우수함을 확인하며, 특히 초장기 시퀀스를 가진 사용자에게 8% 이상의 히트율 개선을 효율적으로 제공합니다.
요약
긴 사용자 행동 시퀀스를 모델링하는 것은 생성 추천 시스템에서 중요한 과제가 되었습니다. 기존 솔루션은 효율성을 위해 상태 용량이 제한된 선형 어텐션 메커니즘과 계산 비용이 큰 소프트맥스 어텐션 간의 딜레마에 직면해 있습니다. 이를 해결하기 위해 HyTRec라는 하이브리드 어텐션 아키텍처를 제안합니다. 이 모델은 장기적으로 안정적인 선호도를 단기적인 의도 변화와 명확히 분리하여 처리합니다. 방대한 역사적 시퀀스는 선형 어텐션 브랜치에 할당하고 최근 상호작용을 위한 소프트맥스 어텐션 브랜치를 따로 두어 산업 규모의 컨텍스트에서 정확한 검색 기능을 복원합니다. 또한, 선형 레이어에서의 빠른 관심 변화 포착 지연을 완화하기 위해 Temporal-Aware Delta Network (TADN)를 설계하여 새로운 행동 신호를 동적으로 강조하고 역사적 잡음을 효과적으로 억제합니다. 실험 결과, 본 모델은 선형 추론 속도를 유지하면서 강력한 기준 모델들을 초월하는 성능을 입증하였으며, 특히 초장기 시퀀스를 가진 사용자에 대해 Hit Rate가 8% 이상 향상되었습니다.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.