arXiv:2610.00369v1 cs.IR

모델이 작성한 텍스트에 대한 공유된 선호도: "AI-AI 바이어스"의 생성기-선택기 행렬은 감지 가능한 자기 모델 프리미엄을 보여주지 않는다

A Shared Taste for Model-Written Text: The Generator-by-Selector Matrices of "AI-AI Bias" Show No Detectable Own-Model Premium

Dmitrij Żatuchin

제출 2026-09-30

저자 비고

arXiv Comments

10 pages, 4 figures, 3 tables. Reanalysis of publicly available generator-by-selector matrices

한국어 초록

Laurito 등(PNAS 2025)은 동일한 제품, 논문 또는 영화에 대한 두 가지 설명 중 하나를 선택할 때, 대규모 언어 모델이 인간 평가자가 선호하는 정도를 크게 웃도는 마진으로 사람이 작성한 설명보다 언어 모델이 작성한 설명을 선호함을 보여주었다. 그들의 연구 설계는 다섯 개의 생성기(generator)와 동일한 다섯 개 모델을 선택기(selector)로 교차 배치하여, 해당 논문이 주요하게 다루지 않은 두 번째 질문을 가능하게 한다. 즉, 생성기와 선택기의 주효과가 예측하는 수준을 넘어 선택기가 자기 자신의 모델이 생성한 텍스트를 선호하는가 하는 점이다. 본 연구에서는 저자들의 공개 저장소에 있는 항목별 빈도(21,828건의 유효 시행, 모든 셀이 발표된 수치와 일치함)를 바탕으로 세 개의 5x5 행렬을 재구성하고, 선택기의 120가지 레이블 재배열에 대한 정확 순열 검정(exact permutation test)으로 검정되는 자기 모델(own-model) 항 $\gamma$를 포함한 이원 고정효과(two-way fixed-effects) 모델을 적합하였다. 그 결과 프리미엄은 제품에서 +0.013(정확 단측 p = 0.24), 논문 초록에서 -0.010(p = 0.74), 영화에서 +0.054(p = 0.07), 통합 분석에서 +0.019(p = 0.14, 95% 신뢰구간 -0.008 ~ 0.046)로 나타났다. GPT-3.5와 GPT-4 쌍에 대한 동일 벤더 항은 세 데이터셋 모두에서 음수였다. 위치 바이어스(position bias)는 개별 셀을 어느 방향으로든 최대 0.42 점유율 포인트까지 변동시켰으나, 순서에 영향을 받은 항목을 제거한 후에도 자기 모델 대비(contrast)는 변하지 않았다. 본 연구 설계는 0.05의 프리미엄을 제품에서 82%, 논문에서 88%, 영화에서 42%, 통합 분석에서 97%의 검정력으로 감지할 수 있었으며, 80% 검정력에서의 최소 감지 가능 효과 크기는 통합 분석 기준 0.034였다. 이러한 프리미엄의 부재는 약 0.04 점유율 포인트까지는 유의미한 정보를 제공하지만 그 이하에 대해서는 침묵한다. Tan 등(ACL 2024)의 4x4 행렬은 24개 재배열이 허용하는 최소 p값에서 $\gamma$ = +0.148을 보였으며, 동일 계열(same-family) 항도 동일한 크기였다. Laurito 등의 주요 결과는 여전히 유효하다. 즉, 모델들은 모델이 작성한 텍스트에 대한 선호도를 공유하며, 제품에 대해 모든 선택기가 77%에서 95%의 비율로 GPT-4의 설명을 선택하였다. 그러나 이 데이터가 보여주지 못하는 것은 모델이 자기 자신의 글을 인식하고 이를 우대한다는 증거다.

원문 초록

Laurito et al. (PNAS 2025) showed that large language models choosing between two descriptions of the same product, paper or film prefer the description written by a language model over the one written by a person, by a wide margin over what human judges do. Their design crosses five generators with the same five models as selectors, which permits a second question the paper does not headline: does a selector prefer text from its own model beyond what the generator and selector main effects predict? We rebuild the three 5x5 matrices from the per-item counts in the authors' public repository (21,828 valid trials; every cell matches the published value) and fit a two-way fixed-effects model with an own-model term gamma, tested by the exact permutation test over the 120 relabellings of the selectors. The premium is +0.013 on products (exact one-sided p = 0.24), -0.010 on paper abstracts (p = 0.74), +0.054 on films (p = 0.07) and +0.019 pooled (p = 0.14; 95% interval -0.008 to 0.046). The same-vendor term for the GPT-3.5 and GPT-4 pair is negative in all three datasets. Position bias moves single cells by up to 0.42 share points in either direction, and the own-model contrast is unchanged once order-driven items are removed. The design would have detected a premium of 0.05 with 82% (products), 88% (papers), 42% (films) and 97% (pooled) power; the minimum detectable effect at 80% power is 0.034 pooled. The absence is informative down to about 0.04 share points and silent below that. The 4x4 matrix of Tan et al. (ACL 2024) gives gamma = +0.148 at the smallest p its 24 relabellings allow, with a same-family term of the same size. The main result of Laurito et al. stands: models share a taste for model-written text, with GPT-4's descriptions chosen 77% to 95% of the time by every selector on products. What these data do not show is a model recognising and favouring its own prose.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.00369v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.