무작위 바꿔쓰기를 통한 LLM 기반 추천 시스템의 구조적 편향 무라벨 탐지: 장황함 사례
Label-Free Detection of Structural Bias in LLM-Based Recommender Systems via Randomized Paraphrasing: The Case of Verbosity
한국어 초록
대규모 언어 모델(LLM)은 전자상거래와 대화형 쇼핑 시스템에서 추천기로 점점 더 많이 배포되고 있으며, 자연어로 기술된 검색된 후보 집합에서 상품을 선택한다. 이들의 결정은 사용자 질의와의 관련성에 의존해야 하지만, 설명의 길이와 같은 표면적 속성의 영향도 받을 수 있다. 관련성 라벨이 거의 없기 때문에 이러한 구조적 편향을 탐지하기는 어렵다. 본 논문은 LLM 기반 추천 시스템의 구조적 편향을 감사하기 위한 무라벨 프레임워크를 제안한다. 후보 설명은 무작위로 할당된 바꿔쓰기 모델에 의해 다시 작성되고 무작위 순서로 제시된다. 추천기의 선택이 이러한 다시 쓰기에 불변이면 모든 바꿔쓰기 모델이 동일한 확률로 선택됨을 증명하며, 이로써 관련성 라벨이 필요 없는 통계 검정이 도출된다. 네 단계의 통계 파이프라인은 이 성질을 검정하고, 질의-상품 관련성을 통제하면서 각 설명 특징의 기여를 정량화한다. 이 프레임워크를 2만 건의 상품 질의와 다섯 모델 계열의 아홉 개 추천용 LLM에서의 장황함 편향에 적용한다. 측정된 관련성 신호를 통제한 후에도 설명 길이는 아홉 개 모델 모두에서 선택에 양의 효과를 미치며, 길이의 표준편차당 선택 오즈를 최대 38%까지 높인다. 관련성은 여전히 추천의 주된 요인이며, 장황함은 강도가 모델 계열에 따라 달라지는 일관된 보조 신호로 작용한다. 이 프레임워크는 블랙박스 접근만 필요하고 주석이 필요 없으므로 배포된 쇼핑 어시스턴트에 대한 정기 감사로 실행할 수 있으며, 비용과 표본 크기에 대한 지침이 포함된 감사 프로토콜을 제공한다.
원문 초록
Large language models (LLMs) are increasingly deployed as recommenders in e-commerce and conversational shopping systems, where they select a product from a set of retrieved candidates described in natural language. Their decisions should depend on relevance to the user query, but may also be influenced by surface-level properties of the descriptions, such as their length. Detecting such structural biases is difficult because relevance labels are rarely available. We propose a label-free framework to audit LLM-based recommender systems for structural bias. Candidate descriptions are rewritten by randomly assigned paraphrasing models and presented in random order. We prove that, if the recommender's choice is invariant to these rewritings, every paraphraser is selected with equal probability, yielding a statistical test that requires no relevance labels. A four-step statistical pipeline tests this property and quantifies the contribution of each description feature while controlling for query-product relevance. We apply the framework to verbosity bias on 20{,}000 product queries and nine recommender LLMs from five model families. After controlling for the measured relevance signals, description length has a positive effect on selection in all nine models, increasing the odds of selection by up to 38% per standard deviation of length. Relevance remains the primary driver of recommendations, while verbosity acts as a consistent secondary signal whose strength depends on the model family. Since the framework needs only black-box access and no annotations, it can be run as a routine audit of deployed shopping assistants, and we provide an auditing protocol with cost and sample-size guidance.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.18878v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.