다중 프로브 제로 충돌 해시(MPZCH): 대규모 추천 시스템에서 임베딩 충돌 완화 및 모델 최신성 향상
Multi-Probe Zero Collision Hash (MPZCH): Mitigating Embedding Collisions and Enhancing Model Freshness in Large-Scale Recommenders
임베딩 테이블은 대규모 추천 시스템의 핵심 구성 요소로, 고차수 범주형(high-cardinality categorical) 특성을 밀집 벡터 표현으로 효율적으로 매핑할 수 있도록 지원합니다. 그러나 고유 ID의 양이 증가함에 따라 기존의 해시 기반 인덱싱 방식은 충돌 문제를 겪으며, 이는 모델 성능과 개인화 품질을 저하시킵니다. 본 논문에서는 선형 탐사(linear probing)를 기반으로 하여 임베딩 충돌을 효과적으로 완화하는 새로운 인덱싱 메커니즘인 다중 프로브 제로 충돌 해시(MPZCH, Multi-Probe Zero Collision Hash)를 제시합니다. 합리적인 테이블 크기 설정을 통해 프로덕션 수준의 효율성을 유지하면서 이러한 충돌을 완전히 제거하는 경우가 많습니다. MPZCH는 보조 텐서와 고성능 CUDA 커널을 활용하여 구성 가능한 탐사 및 능동적 축출(active eviction) 정책을 구현합니다. 노후화된 ID를 폐기하고 재할당된 슬롯을 초기화함으로써, MPZCH는 해시 기반 방식에서 전형적으로 발생하는 오래된 임베딩 상속을 방지하고 새로운 특성이 처음부터 효과적으로 학습되도록 보장합니다. 충돌 완화 오버헤드에도 불구하고, 본 시스템은 기존 방식과 견줄 만한 학습 QPS 및 추론 지연 시간을 유지합니다. 엄격한 온라인 실험을 통해 MPZCH가 사용자 임베딩에 대해 제로 충돌을 달성하고 아이템 임베딩의 최신성과 품질을 대폭 향상함을 입증합니다. 이 솔루션은 더 넓은 커뮤니티를 위해 오픈소스 TorchRec 라이브러리에 공개되었습니다.