arXiv:2207.13311

JDRec: Practical Actor-Critic Framework for Online Combinatorial Recommender System

Xin Zhao, Zhiwei Fang, Yuchen Guo, Jie He, Wenlong Chen, Changping Peng

제출 2022-07-27

원문 초록

A combinatorial recommender (CR) system feeds a list of items to a user at a time in the result page, in which the user behavior is affected by both contextual information and items. The CR is formulated as a combinatorial optimization problem with the objective of maximizing the recommendation reward of the whole list. Despite its importance, it is still a challenge to build a practical CR system, due to the efficiency, dynamics, personalization requirement in online environment. In particular, we tear the problem into two sub-problems, list generation and list evaluation. Novel and practical model architectures are designed for these sub-problems aiming at jointly optimizing effectiveness and efficiency. In order to adapt to online case, a bootstrap algorithm forming an actor-critic reinforcement framework is given to explore better recommendation mode in long-term user interaction. Offline and online experiment results demonstrate the efficacy of proposed JDRec framework. JDRec has been applied in online JD recommendation, improving click through rate by 2.6% and synthetical value for the platform by 5.03%. We will publish the large-scale dataset used in this study to contribute to the research community.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.19357v1cs.AI공통 태그 Recommendation Systems, Combinatorial Optimization

다목적 생성형 추천 시스템을 위한 확률적 프림-듀얼 디코딩

Stochastic Primal-Dual Decoding for Multiobjective Generative Recommender Systems

최근 추천 시스템(RS)의 발전은 생성 모델링을 통해 상당한 성능 향상을 보여주었다. 실무에서 추천은 종종 슬레이트 — 항목의 순서 있는 목록 — 구성을 포함하며, 이는 관련성을 넘어 항목 속성에 정의된 제약이나 공정성 제약과 같은 다중 목표를 만족해야 한다. 기존 다목적 접근법은 생성형이 아닌 설정을 위해 설계된 후처리 기법에 의존하거나, 보조 목표를 모델 학습에 직접 통합한다. 전자는 생성형 RS의 순차적 특성을 명시적으로 고려하지 않으며, 후자는 대규모 시스템에서 종종 비현실적이다. 우리는 기본 모델을 수정하거나 재학습하지 않고도 다목적 슬레이트 생성을 지원하도록 자회귀(autoregressive) 생성형 RS를 보강하는 경량의 추론 시점 디코딩 층을 제안한다. 디코딩을 온라인 제약 최적화(optimization) 문제로 공식화하며, 항목이 순차적으로 선택되고, 관련성과 보조 목표 간 트레이드오프가 잔여 제약 여유(constraint slack), 즉 각 목표를 얼마나 더 만족해야 하는지에 따라 동적으로 조정된다. 이는 생성 과정에서 관련성과 보조 목표의 균형을 맞추는 확률적 프림-듀얼 근사 기법을 통해 구현된다. 우리는 제약 위반과 후회(regret)에 대한 이론적 보장을 제공하고, 광범위한 오프라인 실험과 실제 추천 시스템에서의 대규모 온라인 A/B 실험을 통해 제안 방법을 평가한다. 결과는 다목적 트레이드오프에서 일관된 개선을 보여주며, 사용자 만족도 손실 없이 보조 목표에서 +1.8%의 향상을 달성한다.

arXiv:2607.11684v1stat.ML공통 태그 Recommendation Systems, Combinatorial Optimization

다양화 다항 로짓 맥락 밴딧

Diversified Multinomial Logit Contextual Bandits

기존의 맥락적 다항 로짓(MNL) 밴딧은 관련성 기반 선택을 모델링하지만 품목 구성 내 다양성의 잠재적 이점을 무시하는 반면, 서브모듈러/조합적 밴딧은 보상에 다양성을 인코딩하지만 구조화된 선택 확률이 부재하다. 우리는 $\textit{다양화 다항 로짓}$(DMNL) 맥락 밴딧으로 이 간극을 해소한다. 이 모델은 MNL 선택 확률에 일반적 서브모듈러 다양성 함수를 결합하여 단일 모델 내에서 관련성-다양성 트레이드오프를 공식화한다. 다양성을 통합하면 정확한 MNL 품목 구성 최적화가 난해해진다. 우리는 낙관적 한계 이득을 최대화하여 항목별로 품목 구성을 구성하고 블랙박스 최적화 오라클을 회피하는 $\textit{화이트박스}$ UCB 기반 알고리즘 $\texttt{OFU-DMNL}$을 제안한다. $\texttt{OFU-DMNL}$이 적어도 $(1-\frac{1}{e+1})$-$\textit{근사}$ 후회 경계 $\tilde{O}\left(d \sqrt{T/K}\right)$를 달성함을 보이는데, 여기서 $d$는 맥락 차원, $K$는 최대 품목 구성 크기, $T$는 기간이며, 표준 서브모듈러 기준선 대비 향상된 근사 인수를 달성한다. 실험에서는 일관된 성능 향상을 보였으며, 전수 열거 대비 유사한 후회 수준을 유지하면서도 실행 시간을 크게 단축하였다. 전반적으로, DMNL 밴딧은 불확실성 하에서 다양성을 고려한 품목 구성 최적화를 위한 실용적 기반을 제공하며, $\texttt{OFU-DMNL}$은 통계적·계산적으로 효율적인 해법을 제시한다.

arXiv:2607.09817v1cs.LG공통 태그 Recommendation Systems, Combinatorial Optimization

패널 데이터를 활용한 마르코프 연쇄 선택 모델의 추정, 예측 및 구색 최적화

Estimation, Prediction, and Assortment Optimization for Markov Chain Choice Models with Panel Data

우리는 매개변수 추정, 개인화된 선택 예측 및 개인화된 구색 최적화를 포함하는 패널 데이터를 활용한 마르코프 연쇄(MC) 선택 모델 프레임워크를 제안한다. 각 거래가 확률 효용 모델로부터 독립적으로 추출된다고 가정하는 전통적인 설정과 달리, 우리의 프레임워크는 이력 데이터에서 동일 고객의 거래들 간의 의존성을 부분 순서 선호 정보로 포착하여 반영한다. 저자들이 아는 한, 본 프레임워크는 MC 하에서 패널 데이터를 활용한 선택 모델링 연구를 최초로 시작한다. 주요 결과로서, 우리는 부분 순서 기반 고객 선호 정보를 통합하여 MC 매개변수 추정을 위한 새로운 기댓값 최대화(EM) 알고리즘을 제안한다. 합성 데이터셋과 sushi 데이터셋에서, 우리의 EM 알고리즘은 Simsek and Topaloglu(Operations Research, 66, 2018)의 전통적인 EM 알고리즘과 Jagabathula and Vulcano(Management Science, 64, 2018)에서 응용한 다항 로짓 기반 부분 순서 벤치마크를 능가한다. 부차적인 기여로서, 조건부 선택 예측 및 구색 최적화 문제에 대한 계산 복잡도 및 계산 결과를 제시한다. 이러한 결과들은 우리의 추정 프레임워크를 보완하고, 독립적인 관심사가 될 수 있는 조건부 선택 및 구색 최적화의 계산적 지형을 명확히 한다.

arXiv:2607.11555v1cs.LG공통 태그 Recommendation Systems, Combinatorial Optimization

신경망 집합 함수의 완화 학습을 통한 최적 부분집합 오라클 발전

Advancing Optimal Subset Oracle via Learning Relaxation of Neural Set Functions

신경망 집합 함수 학습은 AI 기반 신약 개발에서의 화합물 선택 및 제품 추천을 포함한 광범위한 중요 응용 분야에서 핵심적인 역할을 한다. 최근 연구에서는 실용적인 약지도(weakly supervised) 설정하에서 집합 함수를 암묵적으로 학습하기 위한 최적 부분집합 오라클(optimal subset oracle)을 도입하였으며, 모델 파라미터는 평균장 변분 추론(mean-field variational inference)을 통해 최적화된다. 그러나 이러한 프레임워크는 변분 분포를 업데이트할 때 증거 하한(evidence lower bound, ELBO)의 그래디언트를 추정하기 위해 몬테카를로 샘플링에 의존한다. 반복적인 샘플링은 상당한 계산 오버헤드를 초래하며, 이로 인한 확률적 특성은 최적화 궤적을 불안정하게 만들 수 있다. 본 연구에서는 증거 하한을 집합 함수의 연속 완화(continuous relaxation)로 재해석하고, 변분 최적화 과정에서 샘플링 기반 ELBO 그래디언트 추정을 대체하는 대리 목적 함수(surrogate objective)를 학습한다. 학습된 대리 함수는 연속 도메인 전반에 걸쳐 안정적이고 효율적인 그래디언트를 제공함으로써 계산 오버헤드를 줄이고 추론을 가속화한다. 아울러, 부분모듈러 최대화(submodular maximization) 하에서 제안된 프레임워크에 대한 근사 보장을 확립하고, 변분 자유 에너지(variational free energy)와의 연관성을 규명한다. 다양한 실제 태스크에 대한 실험 결과, 기존 베이스라인 대비 일관된 성능 향상이 확인되었다.

arXiv:2607.10651v1cs.AI공통 태그 Recommendation Systems, Combinatorial Optimization

Embark Now: 사용자 요구 지향적 다일(多日) 도시 여행 일정 계획 프레임워크

Embark Now: User Demand Oriented Framework for Multi-day Urban Travel Itinerary Planning

대규모 도시 지역에서 다일 여행 일정을 계획하는 것은 방대한 관심 지점(POI), 다양한 사용자 선호도, 그리고 영업시간과 같은 제약 조건으로 인해 어려운 과제이다. 효과적인 솔루션은 제한된 계산 시간 내에서 만족도와 실현 가능성을 최적화하는 동시에 다양한 여행자 요구를 동적으로 수용해야 한다. 본 논문은 대규모 언어 모델(LLM)을 통합하여 사용자 요구사항을 정밀도(precision) 있고 유연하게 동적으로 파악하고, 향상된 탐욕적 무작위 적응 탐색 절차(GRASP) 알고리즘을 선호도 인식 플래너로 활용하여 실현 가능한 다일 일정을 생성하는 혁신적인 프레임워크를 제안함으로써 이러한 과제들을 해결한다. 제안된 통합 접근법의 효과는 베이징과 텐진의 두 실세계 도시 데이터셋에 대한 광범위한 실험을 통해 입증된다. 본 프레임워크는 최신(SOTA) 방법들을 크게 능가하여, 두 데이터셋에서 다양한 선호도를 가진 5,040개의 사용자 사례에 걸쳐 평균 총 일정 점수를 각각 최소 4.52% 및 11.09% 향상시킨다. 나아가, 엔드투엔드 알고리즘 개선을 통해 계산 지표에서 각각 17.95% 및 26.07%의 눈에 띄는 평균 향상을 달성하는 동시에, 여러 번의 반복이 필요한 차선 방법들과 비교하여 더 짧은 계산 시간 내에 각각 4.64% 및 25.55%의 평균 성능 향상을 실현함으로써 시간 효율성에서도 상당한 개선을 이룬다. 이러한 결과는 기존 방법론 대비 일정 품질과 계산 효율성 모두에서 본 방법의 우수성을 입증한다.

arXiv:2610.13503v2cs.CV공통 태그 Combinatorial Optimization

SplatQ: 2차 선택을 통한 3D 가우시안 스플래팅의 상호작용 인지 가지치기

SplatQ: Interaction-Aware Pruning of 3D Gaussian Splatting via Quadratic Selection

기존의 3D 가우시안 스플래팅(3DGS) 가지치기(pruning) 방법들은 주로 독립적인 중요도 점수에 기반한 전역 Top-K 선택에 의존하여, 영역별 예산 제어가 부족하고 공동 삭제 효과를 무시합니다. 결과적으로 전체 장면에 걸쳐 균형 잡힌 재구성 품질을 보장하지 못합니다. 본 논문에서는 고정된 예산 하에서 영역별 예산 할당과 공동 가우시안 선택을 조율하는 조합 가지치기 알고리즘인 SplatQ를 제안합니다. SplatQ는 공간적 근접성과 외형 유사성을 기준으로 가우시안을 크기가 제한된 블록으로 분할하여, 전역 선택 문제를 특정 크기의 하위 문제들로 분해합니다. 그런 다음 중요도 기반의 블록 유지 할당량을 평활화하여 과도한 예산 집중을 방지합니다. 마지막으로 가우시안 불투명도 변화에 대한 대표 픽셀 색상의 반응을 활용하여 공동 삭제 효과의 2차 근사를 구성합니다. 개별 반응, 쌍별 상호작용 및 할당량 페널티는 2차 비제약 이진 최적화(QUBO) 목적 함수에 통합되며, 모의 담금질(SA) 또는 코히런트 이징 머신(CIM)을 사용하여 이를 해결함으로써 가우시안을 공동으로 선택합니다. 5개 벤치마크에 대한 실험을 통해 SplatQ가 종합적인 재구성 품질, 공간적 품질 균형, 렌더링 속도 측면에서 최신 가지치기 방법들보다 우수한 성능을 보임을 입증합니다. 절제 연구(ablation)를 통해 예산 평활화가 국소적인 세부 표현 재구성을 향상시키는 한편, 상호작용 모델링이 고정된 예산 하에서 가우시안 선택 품질을 향상시킴을 확인합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.