Off-Policy Evaluation of Probabilistic Identity Data in Lookalike Modeling
원문 초록
We evaluate the impact of probabilistically-constructed digital identity data collected from Sep. to Dec. 2017 (approx.), in the context of Lookalike-targeted campaigns. The backbone of this study is a large set of probabilistically-constructed "identities", represented as small bags of cookies and mobile ad identifiers with associated metadata, that are likely all owned by the same underlying user. The identity data allows to generate "identity-based", rather than "identifier-based", user models, giving a fuller picture of the interests of the users underlying the identifiers. We employ off-policy techniques to evaluate the potential of identity-powered lookalike models without incurring the risk of allowing untested models to direct large amounts of ad spend or the large cost of performing A/B tests. We add to historical work on off-policy evaluation by noting a significant type of "finite-sample bias" that occurs for studies combining modestly-sized datasets and evaluation metrics involving rare events (e.g., conversions). We illustrate this bias using a simulation study that later informs the handling of inverse propensity weights in our analyses on real data. We demonstrate significant lift in identity-powered lookalikes versus an identity-ignorant baseline: on average ~70% lift in conversion rate. This rises to factors of ~(4-32)x for identifiers having little data themselves, but that can be inferred to belong to users with substantial data to aggregate across identifiers. This implies that identity-powered user modeling is especially important in the context of identifiers having very short lifespans (i.e., frequently churned cookies). Our work motivates and informs the use of probabilistically-constructed identities in marketing. It also deepens the canon of examples in which off-policy learning has been employed to evaluate the complex systems of the internet economy.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
대규모 언어 모델 시대에 축소되는 언어 다양성의 지형
The Shrinking Landscape of Linguistic Diversity in the Age of Large Language Models
언어는 단순한 의사소통 도구를 넘어 개인의 정체성, 심리 상태, 사회적 맥락에 관한 풍부한 정보를 담으며, 심리학·마�eting·의료 등 다양한 분야에 유용한 통찰을 제공한다. 서로 다른 도메인의 일곱 데이터셋과 88만 건 이상의 텍스트에 걸친 세 가지 연구를 통해, 대규모 언어 모델(LLM)이 쓰기 보조 도구로 널리 채택되는 것이 언어 다양성 감소와 연관되어 있으며, 언어가 제공하는 사회·심리적 통찰을 훼손함을 보인다. LLM이 텍스트를 다듬고 재작성할 때 핵심 내용은 유지되지만, LLM은 또한 문체를 동질화하여 데이터셋과 모델 전반에서 통계적으로 유의미하게(p <= .05) 문장 복잡도 분산을 21–50% 줄이고, 지배적 특성과 연관된 패턴은 강화하면서 다른 패턴은 억제하여 개성보다 순응을 강조한다. 이러한 경향은 서로 다른 LLM, 프롬프트, 맥락에서도 일관되며, 진단 과정, 개인화, 채용 평가, 문화 보존 등에 잠재적 함의를 갖는다.
Scalable Subset Selection in Linear Mixed Models
Must Read: A Systematic Survey of Computational Persuasion
설득은 커뮤니케이션의 근본적인 측면으로, 일상적인 대화부터 정치, 마케팅, 법률과 같은 중대한 시나리오에 이르기까지 다양한 맥락에서 의사결정에 영향을 미칩니다. 대화형 AI 시스템의 부상은 설득의 범위를 크게 확장시켰으며, 기회와 위험을 동시에 가져왔습니다. AI 기반 설득은 유익한 애플리케이션에 활용될 수 있지만, 비윤리적인 영향력을 통해 위협을 가할 수도 있습니다. 또한 AI 시스템은 설득을 수행하는 주체(Persuader)일 뿐만 아니라 설득의 대상(Persuadee)이 되기도 하여, 적대적 공격과 편향 강화에 취약해질 수 있습니다. AI가 생성하는 설득형 콘텐츠의 급격한 발전에도 불구하고, 설득이 본질적으로 주관적이고 문맥 의존적인 특성을 지니고 있어 무엇이 설득을 효과적으로 만드는지에 대한 이해는 여전히 제한적입니다. 본 서베이(Survey)에서는 세 가지 핵심 관점을 중심으로 설득에 대한 포괄적인 개요를 제공합니다: (1) AI 생성 설득형 콘텐츠와 그 응용 분야를 탐구하는 설득 주체로서의 AI(AI as a Persuader); (2) 영향력과 조작에 대한 AI의 취약성을 조사하는 설득 대상으로서의 AI(AI as a Persuadee); (3) 설득 전략을 평가하고 조작을 감지하며 윤리적인 설득을 보장하는 AI의 역할을 분석하는 설득 판독자로서의 AI(AI as a Persuasion Judge). 우리는 설득 연구를 위한 분류 체계(Taxonomy)를 도입하고, 점점 더 강력해지는 언어 모델이 초래하는 위험을 해결하는 동시에 AI 기반 설득의 안전성, 공정성 및 효과를 높이기 위한 미래 연구의 주요 과제를 논의합니다.
DOLCE: Decomposing Off-Policy Evaluation/Learning into Lagged and Current Effects
Person detection and re-identification in open-world settings of retail stores and public spaces
AI-Slop to AI-Polish? Aligning Language Models through Edit-Based Writing Rewards and Test-time Computation
토론
이 논문과 연결된 포럼 글이 아직 없습니다.