arXiv:2610.37962v1 cs.IR

LLM 기반 추천 시스템의 위치 편향에 대한 통계적 탐지: 방법론과 실증적 증거

Statistical Detection of Positional Bias in LLM-Based Recommender Systems: Methodologies and Empirical Evidence

Carlos Pel\'aez-Gonz\'alez, Francisco Herrera, Andr\'es Herrera-Poyatos

제출 2026-10-30

한국어 초록

대규모 언어 모델(LLM)은 검색 증강 생성(RAG)을 통해 대화형 추천 시스템(RS)에서 추천 생성기로 점점 더 많이 사용되고 있다. 이러한 유연한 설계는 새로운 구조적 편향의 원인을 도입한다. 본 논문은 top-1 및 단일 턴 LLM 기반 RS에서의 위치 편향, 즉 추천되는 항목이 프롬프트에서 후보가 제시되는 순서에 체계적으로 의존하는 현상을 연구한다. 우리는 서로 보완적인 두 가지 탐지 방법론을 제안한다. (i) 분할표 행렬 분석과 카이제곱 독립성 검정에 기반한 POB-ICM, 그리고 (ii) 순열 기반 평가에서 균등성 귀무 모형으로부터 도출된 표본 효율적 접근법으로, 형식적인 통계적 보장과 함께 확률적 디코딩을 가능하게 하는 POB-UNBP이다. 실제 제품 카탈로그를 기반으로 구축한 제품 추천용 통제된 RAG 테스트베드, 고정된 프롬프트 템플릿, 그리고 템플릿으로 생성한 2000개의 사용자 질의(각각 20개의 순열, 총 40,000개 인스턴스)를 사용한 결과, 두 방법론 모두 평가된 모든 최신 모델에서 위치 독립성과 균등성이라는 귀무가설을 기각한다. 우리는 이러한 효과를 정량화하기 위해 순열 민감도, 위치 편향, 강한 위치 편향이라는 세 가지 상호 보완적인 지표를 도입하며, 마지막 지표는 위치가 단지 비슷하게 관련된 항목들 사이에서 선택하는 데 그치지 않고 추천을 명백히 덜 관련된 항목으로 옮기는 경우를 겨냥한다. 후보 집합 크기와 디코딩 온도에 걸친 강건성 분석은 이 편향이 구조적이며 모델에 따라 달라지고, 결정적 디코딩이나 후보 집합 크기의 산물이 아님을 보여 준다. 이러한 결과는 평가된 환경에서 위치 편향이 프롬프트 매개 추천 파이프라인의 측정 가능하고 재현 가능한 속성임을 입증하며, 배포된 LLM 기반 RS에 대해 순서 무작위화, 표준화된 프롬프팅 등 정기적인 감사와 거버넌스 통제의 필요성을 뒷받침한다. 소스 코드는 공개되어 있다.

원문 초록

Large Language Models (LLMs) are increasingly used as recommendation generators in conversational recommender systems (RS) via retrieval-augmented generation (RAG). This flexible design introduces new sources of structural bias. This paper studies positional bias in top-1 and single-turn LLM-based RS: systematic dependence of the recommended item on the order in which candidates are presented in the prompt. We propose two complementary detection methodologies: (i) POB-ICM, based on contingency matrix analysis and Chi-square independence testing, and (ii) POB-UNBP, a sample-efficient approach derived from a uniformity null model under permutation-based evaluation, enabling stochastic decoding with formal statistical guarantees. Using a controlled RAG testbed for product recommendation, built on a real product catalog, a fixed prompt template and 2000 template-generated user queries with 20 permutations each (40,000 instances), both methodologies reject the null hypothesis of positional independence and uniformity in all evaluated state-of-the-art models. We introduce three complementary metrics -- permutation sensitivity, positional bias, and strong positional bias -- to quantify this effect, the latter targeting cases where the position displaces the recommendation towards clearly less relevant items rather than only choosing among comparably relevant ones. A robustness analysis across candidate-set size and decoding temperature shows that the bias is structural and model-dependent, not an artifact of deterministic decoding or candidate-set size. These results establish positional bias as a measurable, reproducible property of prompt-mediated recommendation pipelines in the evaluated setting and motivate routine auditing and governance controls (e.g., order randomization, standardized prompting) for deployed LLM-based RS. Source code is publicly released.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.37962v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.