TokenFormer V2: 통합 추천의 해상도와 계산 복잡도 사이의 딜레마 해소
TokenFormer V2: Breaking the Resolution-Complexity Dilemma in Unified Recommendation
한국어 초록
산업용 추천에는 해상도와 복잡도 사이의 딜레마가 있다. 행동 간 상호작용을 조밀하게 다루면 긴 행동 이력을 세밀하게 모델링하는 비용이 커진다. 이력을 압축한 요약을 사용하면 예측에 활용할 수 있는 근거가 줄어든다. 통합 백본은 엄격한 서비스 연산 예산 내에서 행동의 세부 정보를 보존해야 한다. 표현 해상도와 상호작용 밀도를 명시적으로 분리하는 통합 아키텍처 TokenFormer V2를 소개한다. 이 모델은 그룹별 토큰 배치를 통해 행동 구간과 비시퀀스 문맥을 함께 인코딩한다. 계층적으로 그룹을 병합해 상호작용 범위를 넓히고, NS Fusion과 Global Sync 모듈로 분산된 그룹을 조율한다. 이 국소·전역 분해 방식은 세부 근거를 보존하면서 구조화된 상호작용에 연산을 집중한다. 따라서 Full-Resolution Readout 모듈은 인코딩된 모든 이벤트에 직접 접근할 수 있다. Tencent Advertising Algorithm Competition 2026(TAAC 2026) 벤치마크에서 TokenFormer V2는 통합 추천 기준선 가운데 최상위 정확도를 기록했다. 주요 기준선보다 FLOP을 5.1$\times$ 적게 사용했으며, 긴 이력과 행동 영역 간 불균형이 있는 조건에서도 우위를 유지했다. WeChat Channels 광고에서 수십억 매개변수 규모로 평가한 결과, 최신 산업용 기준선을 일관되게 앞섰고 전체 AUC가 최대 0.07%포인트 높아졌다. 운영 모델과 비교한 실시간 온라인 A/B 테스트에서는 총거래액(GMV)이 통계적으로 유의하게 2.33% 증가했다. 이 결과는 TokenFormer V2가 산업용 추천에서 행동 이력을 원래 해상도로 모델링하는 확장 가능한 설계로 실환경에서 검증됐음을 보여 준다.
원문 초록
Industrial recommendation faces a resolution--complexity dilemma: dense interactions make detailed modeling of long behavior histories expensive, while compact history summaries restrict the evidence available to prediction. A unified backbone must preserve rich behavioral details within strict serving budgets. We introduce \textbf{TokenFormer V2}, a unified architecture that explicitly decouples \emph{representation resolution} from \emph{interaction density}. Its group-wise token layout jointly encodes behavior segments with non-sequential context, expands interaction ranges via hierarchical group merging, and coordinates distributed groups through \emph{NS Fusion} and \emph{Global Sync} modules. Through this \emph{local--global decomposition} paradigm, computation is concentrated on structured interactions while preserving fine-grained evidence, ensuring that every encoded event remains directly accessible to the \emph{Full-Resolution Readout} module. On the Tencent Advertising Algorithm Competition 2026 (TAAC 2026) benchmark, TokenFormer V2 achieves top-ranking accuracy among unified recommendation baselines while using \textbf{5.1$\times$ fewer FLOPs} than leading baselines, sustaining its advantage across long histories and imbalanced behavior domains. Furthermore, in billion-parameter evaluations on WeChat Channels advertising, it consistently outperforms state-of-the-art industrial baselines, yielding up to a \textbf{+0.07 pp} overall AUC gain. In live online A/B testing against the production model, TokenFormer V2 delivers a statistically significant \textbf{2.33\% increase in GMV}. These results establish TokenFormer V2 as a battle-tested blueprint for scalable, full-resolution behavior modeling in industrial recommendation.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.19074v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.