LightFusionRec: Lightweight Transformers-Based Cross-Domain Recommendation Model
원문 초록
This paper presents LightFusionRec, a novel lightweight cross-domain recommendation system that integrates DistilBERT for textual feature extraction and FastText for genre embedding. Important issues in recommendation systems, such as data sparsity, computational efficiency, and cold start issues, are addressed in methodology. LightFusionRec uses a small amount of information to produce precise and contextually relevant recommendations for many media formats by fusing genre vector embedding with natural language processing algorithms. Tests conducted on extensive movie and book datasets show notable enhancements in suggestion quality when compared to conventional methods. Because of its lightweight design, the model can be used for a variety of purposes and allows for ondevice inference. LightFusionRec is a noteworthy development in cross-domain recommendation systems, providing accurate and scalable recommendations to improve user experience on digital content platforms.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
FORTE: 산업용 추천 시스템을 위한 특징 평가 및 폐기 프로덕션 프레임워크
FORTE: A Production Framework for Feature Evaluation and Deprecation in Industrial Recommender Systems
프로덕션 추천 시스템에는 특징(feature) 생애주기의 비대칭성이 존재한다: 새로운 특징을 추가할 때는 어떤 지표에서든 성능 향상을 만들어내야 하지만, 특징을 제거할 때는 어떤 지표도 저하시키지 않아야 한다. 실제로는 특징 폐기의 우선순위를 정하기가 어려운데, 특징이 다른 특징들과 상호작용하는 경우, 그 중요도가 매일 변하는 경우, 프로덕션 모델이 변경되거나 데이터 드리프트가 발생하기 전에는 평가할 수 없는 경우, 다른 출시 건들과 A/B 테스트 공간을 두고 경쟁하는 경우, 온라인 A/B 테스트에서 회귀(regression)를 일으키는 경우, 또는 폐기를 조율해야 하는 여러 모델에서 소비되는 경우에는 해당 특징을 제거하지 못할 수 있기 때문이다. 우리는 특징을 발견, 검증, 제거하기 위한 모델에 구애받지 않는(model-agnostic) 프로덕션 프레임워크인 FORTE를 제시한다. 효율적인 교란(perturbation) 구현을 통해 매일 특징 평가가 가능하다. 상호작용을 고려하기 위해, FORTE는 그룹화된 제거(ablation)를 통해 모든 저랭크(low-rank) 특징으로부터 구성된 후보 특징 집합을 평가하며, 이 오프라인 결과는 온라인 A/B 테스트를 충분히 예측할 수 있어 폐기 작업을 자신 있게 온라인 테스트로 진행할 수 있게 한다. 계보 추적(lineage tracing)은 학습 데이터셋에서 특징을 제거함으로써 얻는 전체 절감 효과를 실현하기 위해 모든 다운스트림 소비 모델을 식별한다. 우리는 2개의 대규모 추천 시스템에서 FORTE를 검증하였으며, FORTE가 온라인 회귀를 일으키지 않는 폐기 가능한 특징 집합을 식별함을 확인하였다. 다만 효율성에 대한 영향은 모델 특성에 따라 달라진다. 검색 관련성(search-relevance) 모델에서 FORTE는 32개, 48개, 59개 특징으로 구성된 3개의 중첩된 후보 집합을 도출하였다. 온라인 가드레일은 가장 큰 처리(treatment)를 거부하였다. 48개 특징 집합이 폐기 대상으로 선정되어 해당 모델 특징의 43.3%가 제거되었다. 대규모 랭킹(ranking) 모델에서는 FORTE가 제거 후보로 8개를 식별하였다. 재학습과 A/B 테스트를 통해 회귀가 없음을 확인하였다. 이 배포로 학습 가능한 파라미터가 29.9% 감소하였고, 서빙 처리량(serving throughput)이 19.8~25.5% 향상되었으며, 연간 학습 비용이 수십만 달러 절감되었다.
TriLiteNet: Lightweight Model for Multi-Task Visual Perception
ARERec: Attentive Local Interaction Model for Sequential Recommendation
PACE-dLLM: 확산 언어 모델을 위한 신뢰도 절벽 추정 기반 탄력적 블록 디코딩
PACE-dLLM: Elastic Block Decoding via Confidence Cliff Estimation for Diffusion Language Models
LLaDA와 Dream 같은 확산 언어 모델(dLLM)은 생성 품질에서 자기회귀(AR) LLM과 경쟁할 수준이 되었으며, 기본적으로 병렬 디코딩을 지원한다. 표준적인 가속 전략은 블록 단위 디코딩으로, 각 순전파에서 길이 B의 블록을 예측하고 신뢰도가 높은 토큰을 확정한다. 신뢰도 임계값 기반 확정은 어떤 토큰을 수용할지를 적응시키지만, 고정된 B는 여전히 예측 범위를 제한한다. 기존의 호라이즌 정책은 수동으로 정한 크기, 변동성 통계, 또는 후보 경계 점수를 사용한다. 이에 반해 우리는 모델 자체의 단계별 신뢰도를 사용한다. 윈도우 내 신뢰도는 대체로 문맥에 의존적인 절벽(cliff) 형태를 따르며, 이는 선행 호라이즌을 적응시키기 위한 직접적인 신호를 제공한다. 본 연구에서는 이 매개변수화된 절벽을 닫힌 형태로 주기적으로 다시 적합하고, 공유된 신뢰도 앵커에서 다음 호라이즌을 설정하며, 신뢰도 임계값 기반 토큰 확정을 유지하는 PACE-dLLM을 제안한다. iid이며 정책과 무관한 단조 프로파일을 갖는 포화 수율 추상화 하에서, 오라클 호라이즌은 최대 패스당 수율을 달성하는 가장 작은 값이며, 고정 블록이 양의 확률로 이에 미달할 때 점근적 순전파 비율을 개선한다. 두 개의 오픈소스 dLLM 백본에 대한 네 가지 추론 및 코드 벤치마크에서, PACE-dLLM은 평가된 디코더 중 두 백본 모두에서 가장 높은 평균 정확도를 달성하며, 가속하지 않은 반자기회귀 기준선 대비 LLaDA에서 평균 5.23배, Dream에서 3.06배(LLaDA MATH에서 최대 8.52배)의 처리량 향상을 얻어 품질–처리량 파레토 경계를 진전시킨다.
정교한 축출 정책이 실패할 때: LLM 접두 문맥 재사용을 위한 캐시 교체 정책의 재고
When Fancy Eviction Fails: Rethinking Cache Replacement For LLM Prefix Reuse
장시간 실행되는 LLM 애플리케이션과 자율 에이전트는 점점 늘어나는 컨텍스트를 반복적으로 전송하므로, 프리픽스 캐싱은 프리필 비용을 줄이는 데 매우 중요하다. 이는 수십 년간의 전통적인 캐시 관리 기법이 에이전트형 및 대화형 LLM 서빙에 그대로 적용되는가라는 근본적인 질문을 제기한다. 우리는 200억 개가 넘는 처리 토큰으로 구성된 실제 서비스 트레이스를 분석하고, 용량이 제한된 HBM 환경과 대규모 메모리 풀 환경에서 14가지 축출 알고리즘을 평가한다. 그 결과, 단순한 LRU(Least Recently Used)가 놀라울 정도로 견고하여 정교한 전통적 정책과 대등한 성능을 보이지만, 벨라디(Belady)의 최적 해와는 여전히 상당한 격차가 남아 있음을 확인한다. 그 이유는 구조적이다. 프리픽스 재사용은 활성 세션의 꾸준한 진행 속도에 의해 좌우되므로, 최근 사용 여부가 축출에 대해 이례적으로 강한 예측 변수가 된다. 그럼에도 프리픽스 캐싱은 최근성이 무시하는 측면에서 전통적 워크로드와 다르며, 특히 단일 턴 요청의 만연, 극단적인 세션 크기 편중, 어텐션 연산이 토큰 깊이에 따라 증가하기 때문에 발생하는 매우 불균일한 미스 비용이 그러하다. 최적과의 격차를 줄이기 위해, 우리는 프리픽스 캐시 관리를 위한 몇 가지 설계 원칙을 제시한다. 즉, 최근성을 기준선으로 유지하면서 일회성 프롬프트를 걸러내기 위한 신속한 강등, 비용이 큰 미스를 우선시하는 연산 인지형 축출, 용량 적응형 축출 단위를 함께 도입하는 것이다. 우리의 트레이스와 시뮬레이터는 공개되어 있다.
KDFP: 대규모 언어 모델의 지식 증류를 위한 제1원리적 접근법
KDFP: A first-principles approach to knowledge distillation in large language models
지식 증류(knowledge distillation)는 더 크고 성능이 뛰어난 교사 모델의 표현(representation)을 활용해 작고 효율적인 학생 모델을 학습(training)시킴으로써 그 역량을 향상시키는 잘 정립된 기법입니다. 대규모 언어 모델(LLM) 증류에 관한 최근 연구의 상당수는 지시사항 준수(instruction following), 사고의 연쇄(Chain-of-Thought) 추론, 도구 사용 등 사후 학습(post-training) 과정에서 습득된 능력을 증류하는 데 집중되어 왔습니다. 이로 인해 엣지 기기 배포에 적합한 효율적이고 프라이버시가 보장되는 시스템을 개발하는 데 필수적인 LLM의 일반 지식 증류 연구에는 큰 공백이 남게 되었습니다. 본 연구에서는 이전 연구들의 교훈을 평가하고 새로운 탐색을 수행하는 제1원리적(first-principles) 접근법을 취하여 현대 LLM에 적합한 증류 방법론을 개발합니다. 본 논문에서는 LLM의 화이트박스 일반 지식 증류를 위한 새로운 방법론인 KDFP를 제시합니다. 실험을 통해 KDFP가 임시 매개변수(parameter) 감축을 통해 학습 효율성을 최대 99.1%까지 향상시키면서, 9개 벤치마크 전반에서 기존 기법들을 1.6% $-$ 4.9% 능가함을 입증합니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.