LoopFM: 추천을 위한 파운데이션 모델의 과거 표현 기반 학습
LoopFM: Learning frOm HistOrical RePresentations of Foundation Model for Recommendation
지식 증류(KD)는 대규모 파운데이션 모델(FM)의 단일 스칼라 예측값을 소형 버티컬 모델(VM)로 전달하지만, 단일 스칼라로는 더 큰 FM이 학습하는 풍부한 중간 지식을 전달할 수 없기 때문에 FM의 성능 향상분 중 VM이 흡수하는 비율인 전이 비율(transfer ratio)이 감소하는 문제를 겪습니다. 이러한 병목 현상을 해결하기 위해, 서빙 시 실시간 FM 추론이나 FM과 VM 간의 아키텍처 결합을 요구하지 않으면서 FM의 중간 임베딩을 다운스트림 VM의 입력 피처(예: 사용자 히스토리 시퀀스)로 구조화하여 고대역폭 전이 채널을 여는 프레임워크인 LoopFM(Learning frOm HistOrical RePresentations of FM)을 제안합니다. 또한 이득 분해(gain decomposition) 및 전이 비율 분석을 포함한 LoopFM의 이론적 프레임워크를 제공합니다. 세 가지 공개 벤치마크에서 LoopFM은 강력한 AUC 향상(예: TaobaoAd에서 6% 이상)과 KD와의 상호보완적인 지식 전이 능력을 입증했습니다. 수십억 개의 예제와 수조 개의 매개변수를 가진 FM으로 구성된 산업 규모 시스템에서, LoopFM은 KD 대비 지식 전이 비율을 약 2배로 높여 초기 출시 후 상반기에 +0.5%의 전환율 개선을 달성했으며, 이어진 하반기의 두 차례 개별 출시에서 각각 +1.03% 및 +1.22%의 전환율 개선을 이끌어냈습니다. 체계적인 실험을 통해 LoopFM은 시퀀스 길이, 임베딩 차원, 업스트림 FM 크기에 걸친 스케일링 법칙(scaling law)을 보여줍니다.