Semantic-ID 기반 생성형 추천은 아이템을 공유 semantic 토큰의 시퀀스로 표현하여, 고립된 item ID를 넘어서는 토큰 재조합을 가능하게 한다. 그러나 폐쇄 세계(closed-world) 재조합이 반드시 시간적 개방-토큰 콜드스타트 유도(temporal open-token cold-start induction)를 의미하는 것은 아니다. 여기서 새로운 아이템은 보지 못한 원자적 토큰(unseen atomic tokens)이나 약하게 지원되는 SID 경로와 함께 item 카탈로그에 진입한다. 본 연구에서는 절대 시간 기반 시간 프로토콜 하에서 SID 기반 생성형 추천을 재검토한다. 이 프로토콜은 seen/unseen 타깃을 분리하고 토큰 수준에서 콜드 아이템 도달 가능성(cold item reachability)을 진단한다. seen/unseen 적중 분석, coldness 분류체계(coldness taxonomy), oracle-접두 문맥 탐색(oracle-prefix probing)을 통해, 현재 SID 기반 모델이 관측된 토큰과 접두 문맥으로 지원되는 미래 아이템에 때로는 도달할 수 있지만, 보지 못한 원자적 토큰과 지원되지 않는 SID 경로에서는 어려움을 겪는다는 것을 보인다. 우리는 SID 생성을 계층적 semantic bucketing으로 해석함으로써 이러한 경계를 추가로 설명한다. 초기 토큰은 coarse semantic 영역을 선택하고, 이후 토큰은 item-specific 경로를 정교화한다. 이러한 발견은 SID 생성이 조합적(compositional)이지만 완전히 개방적(open-ended)이지는 않음을 보여주며, 보다 독립적인 SID 공간, 점수 기반 인터페이스(scoring-based interfaces), 동적 텍스트 문맥(dynamic textual context)에서의 향후 방향을 제시한다.
확장 가능한 추론 서비스가 대중화됨에 따라, 추론 엔진의 콜드 스타트 지연 시간이 중요해지고 있습니다. 오늘날 vLLM은 많은 추론 워크로드에서 사실상 표준이 되는 추론 엔진으로 발전했습니다. 인기가 높음에도 불구하고, 그 복잡성과 빠른 발전으로 인해 시작 지연 시간에 대한 체계적인 연구는 없었습니다. V1 API와 torch.compile 도입과 같은 주요 아키텍처 혁신과 함께, 본 논문은 vLLM 시작 지연 시간에 대한 최초의 상세한 성능 특성 분석을 제시합니다. 우리는 시작 과정을 6가지 기본 단계로 분해하고, 이것이 주로 CPU 바운드임을 입증합니다. 각 단계는 모델 수준 및 시스템 수준 파라미터에 대해 일관되고 해석 가능한 스케일링 추세를 보여주어, 지연 시간 원인의 정밀한 규명을 가능하게 합니다. 이러한 통찰력을 바탕으로, 우리는 주어진 하드웨어 구성에 대해 vLLM 시작 지연 시간을 정확하게 예측하는 경량 분석 모델을 개발하여, 대규모 추론 환경에서의 리소스 계획에 실질적인 지침을 제공합니다. 모든 벤치마킹 데이터셋, 분석 도구 및 예측 스크립트는 https://github.com/upb-cn/vllm-startup-profiler에서 오픈 소스로 공개됩니다.
DoorDash와 같은 다중 버티컬 e-commerce 플랫폼에서 식료품·리테일 같은 상대적으로 새로운 상품 버티컬은 개인화 혁신의 중요한 기회를 제공한다. 핵심 과제는 사용자에 대한 콜드 스타트(cold start) 문제를 해결하는 것이다. 본 논문은 데이터가 풍부한 버티컬(예: DoorDash의 레스토랑)에서 데이터가 희박한 버티컬로 지식을 전이하여 추천 품질을 향상시키는 새로운 프레임워크를 제안한다. 우리는 대규모 언어 모델(LLM)을 활용해 생성적 추론을 수행하고, 잠재적 사용자 선호를 담는 희소 고차원 특성을 합성한다. 구체적으로, 사용자의 레스토랑 주문 이력과 검색 쿼리로부터 다층 분류(taxonomic) 특성을 도출하기 위해 계층적 검색-증강 생성(RAG) 파이프라인을 사용한다. 이렇게 생성된 특성은 장기적 교차-버티컬 선호와 단기적 의도를 모두 인코딩하며, 프로덕션 다중 태스크 학습(MTL) 랭킹 모델에 통합된다. 광범위한 오프라인 및 온라인 평가를 통해, 이 접근법이 신흥 비즈니스 버티컬에서 개인화와 참여도를 크게 향상시키며 행동 데이터 간극을 효과적으로 메운다는 것을 입증한다.