arXiv:2310.14379

Can Offline Metrics Measure Explanation Goals? A Comparative Survey Analysis of Offline Explanation Metrics in Recommender Systems

André Levi Zanon, Marcelo Garcia Manzato, Leonardo Rocha

제출 2023-10-22

원문 초록

Explanations in a Recommender System (RS) provide reasons for recommendations to users and can enhance transparency, persuasiveness, engagement, and trust-known as explanation goals. Evaluating the effectiveness of explanation algorithms offline remains challenging due to subjectivity. Initially, we conducted a literature review on current offline metrics, revealing that algorithms are often assessed with anecdotal evidence, offering convincing examples, or with metrics that don't align with human perception. We investigated whether, in explanations connecting interacted and recommended items based on shared content, the selection of item attributes and interacted items affects explanation goals. Metrics measuring the diversity and popularity of attributes and the recency of item interactions were used to evaluate explanations from three state-of-the-art agnostic algorithms across six recommendation systems. These offline metrics were compared with results from an online user study. Our findings reveal a trade-off: transparency and trust relate to popular properties, while engagement and persuasiveness are linked to diversified properties. This study contributes to the development of more robust evaluation methods for explanation algorithms in recommender systems.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.22518v1cs.IR공통 태그 Recommendation Systems, Diversity

PinEqualizer: Pinterest의 전체 퍼널 콘텐츠 탐색 및 디바이어싱 시스템

PinEqualizer: Full Funnel Content Exploration and Debiasing System at Pinterest

본 논문에서는 산업 규모의 검색 및 추천 시스템에서 콘텐츠 콜드 스타트(cold-start) 문제를 해결하기 위한 새로운 솔루션을 제안한다. 기존 접근법과 비교하여 다음과 같은 새로운 기여를 이뤘다. 1) 본 솔루션은 전체 다단계 퍼널에 걸쳐 적용되며 검색 및 추천 서피스 모두에 잘 일반화된다. 2) 본 솔루션은 기존 콘텐츠를 선호하는 바이어스를 줄여 콘텐츠 유형 전반에 걸친 더 정확한 모델 예측을 가능하게 하고, 대량의 명시적 콘텐츠 탐색과 관련된 단기적 트레이드오프를 완화한다. 3) 본 솔루션은 단기 실험을 빠르게 수행하면서 장기적 영향을 검증할 수 있는 확장 가능한 측정 프레임워크로 평가되었다. 지난 2년간 Pinterest에서 이 새로운 시스템을 반복적으로 구축·배포했으며, 신규 콘텐츠 탐색, 전반적인 사용자 참여, 콘텐츠 생태계 건강성에서 유의미한 개선을 관측했다.

arXiv:2607.13418v1cs.IR공통 태그 Recommendation Systems, Diversity

블랙박스를 조종할 수 있는가? 협력 에이전트 기반 추천 시스템의 제어 가능성 중심 평가

Can We Steer the Black-Box? Towards Controllability-Centric Evaluation of Recommender Systems with Collaborative Agents

추천 시스템은 블랙박스로 동작하여, 사용자와 규제 당국이 출력을 특정 의도에 맞게 조종하거나 그 동작을 감사할 수 없게 한다. 명시적 지시에 응답하는 시스템의 능력으로 정의되는 이러한 제어 가능성(controllability)의 부재는 기존 평가 패러다임에서 아직 다루지 않은 차원으로 남아 있다. 이 공백을 메우기 위해, 우리는 제어 가능성의 체계적 평가를 위한 협력 다중 에이전트 프레임워크인 CtrlBench-Rec를 제안한다. 우리는 대상 콘텐츠 탐색, 관심 프로필 형성, 인기 바이어스(bias) 완화라는 세 가지 핵심 과제를 형식화하며, 이들은 함께 명시적 명령에서 암묵적 표현 조종에 이르고 최종적으로 알고리즘 바이어스를 극복하는 조종 가능성(steerability)을 측정한다. 실제 데이터셋과 여러 추천 모델에 대한 광범위한 실험은 우리 프레임워크가 제어 가능성을 효과적으로 정량화하고, 특히 롱테일(long tail) 콘텐츠 유도에 대한 지속적 저항을 포함한 핵심 시스템 병목을 드러냄을 보여준다. CtrlBench-Rec는 제어 가능한 추천 연구, 알고리즘 감사, 사용자 권한 강화를 위한 최초의 표준화된 툴킷을 제공한다. 코드는 https://github.com/caskcsg/CtrlBenchRec 에서 공개된다.

arXiv:2607.11684v1stat.ML공통 태그 Recommendation Systems, Diversity

다양화 다항 로짓 맥락 밴딧

Diversified Multinomial Logit Contextual Bandits

기존의 맥락적 다항 로짓(MNL) 밴딧은 관련성 기반 선택을 모델링하지만 품목 구성 내 다양성의 잠재적 이점을 무시하는 반면, 서브모듈러/조합적 밴딧은 보상에 다양성을 인코딩하지만 구조화된 선택 확률이 부재하다. 우리는 $\textit{다양화 다항 로짓}$(DMNL) 맥락 밴딧으로 이 간극을 해소한다. 이 모델은 MNL 선택 확률에 일반적 서브모듈러 다양성 함수를 결합하여 단일 모델 내에서 관련성-다양성 트레이드오프를 공식화한다. 다양성을 통합하면 정확한 MNL 품목 구성 최적화가 난해해진다. 우리는 낙관적 한계 이득을 최대화하여 항목별로 품목 구성을 구성하고 블랙박스 최적화 오라클을 회피하는 $\textit{화이트박스}$ UCB 기반 알고리즘 $\texttt{OFU-DMNL}$을 제안한다. $\texttt{OFU-DMNL}$이 적어도 $(1-\frac{1}{e+1})$-$\textit{근사}$ 후회 경계 $\tilde{O}\left(d \sqrt{T/K}\right)$를 달성함을 보이는데, 여기서 $d$는 맥락 차원, $K$는 최대 품목 구성 크기, $T$는 기간이며, 표준 서브모듈러 기준선 대비 향상된 근사 인수를 달성한다. 실험에서는 일관된 성능 향상을 보였으며, 전수 열거 대비 유사한 후회 수준을 유지하면서도 실행 시간을 크게 단축하였다. 전반적으로, DMNL 밴딧은 불확실성 하에서 다양성을 고려한 품목 구성 최적화를 위한 실용적 기반을 제공하며, $\texttt{OFU-DMNL}$은 통계적·계산적으로 효율적인 해법을 제시한다.

arXiv:2607.02539v2cs.SI공통 태그 Recommendation Systems

만족을 넘어서: 콘텐츠, 리뷰, 웰빙 간의 연관성 학습

Beyond Satisfaction: Learning Associations Between Content, Reviews, and Well-Being

추천 알고리즘은 사람들이 온라인에서 소비하는 것을 형성하지만, 주로 별점, 좋아요, 감성과 같은 사용자 만족의 신호에 맞추어 최적화된다. 이러한 신호가 순간적 선호를 넘어 사용자에게 무엇이 좋은지를 포착하는지는 대체로 검토되지 않았다. 웰빙은 만족을 넘어서는, 심리학에 기반한 대안적 목표를 제공한다. 본 연구는 이를 리뷰에 나타난 PERMA 다섯 측면의 즉각적 표현과 지속적 표현으로 조작화한다. 실증적으로, 즉각적인 긍정 정서와 몰입은 더 쾌락적(즐거움 지향)으로 군집을 이루는 반면, 관계, 의미, 성취, 그리고 지속적인 긍정 정서와 몰입은 더 행복주의적(의미 및 성장 지향)으로 나타난다. Goodreads 리뷰 1,370만 건과 도서 1만 6천 권의 내용을 분석하여, PERMA 표현이 만족 목표와 어떻게 다른지, 그리고 어떤 도서 내용 특징이 이와 연관되는지를 연구한다. 첫째, 만족 신호(별점과 리뷰 감성)는 즉각적인 쾌락적 웰빙과는 중간 정도의 상관을 보이나(r = .43-.50) 그 지속적 표현과는 상관이 더 낮고(r <= .28), 행복주의적 측면과는 거의 연관이 없다(r <= .09). 둘째, 도서 내용 특징은 만족 신호(|r| <= .15)보다 PERMA 측면과 더 강하게 연관된다(r 최대 .46). 즉각적 쾌락적 웰빙과 연관된 내용은 지속적 및 행복주의적 웰빙과 연관된 내용과 다르다. 3인칭 대명사와 과거 지향 언어는 즉각적 몰입과 양의 관계를 보이지만(d=1.14, 1.05) 모든 지속적 측면과는 음의 관계를 보이며(d 최저 -1.58, -1.32), 친사회적 언어와 성취 지향 언어는 각각 관계와 성취와 관련된다(d=.45, .96). 이러한 결과는 만족 신호가 사용자가 표현하는 웰빙의 일부만을 포착하며, 웰빙에 기반한 목표를 사용하면 플랫폼이 상당히 다른 콘텐츠를 추천하게 될 수 있음을 시사한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.