Displayed citations make part of generative search observable, but they do not reveal its complete retrieval process. This audit covers three archived datasets containing 167,551 URL-bearing citation entries across 128 brands, 13 languages and 12 home markets. In the principal Nordic-Baltic component, 3,863 of 21,033 registrable domains account for 80% of 131,514 citations. Wikipedia leads in 11 of 12 query languages. A recovered, separate brand-associated website classification retains 131,512 entries: 108,410 (82.4%) fall outside its brand-associated category and 23,102 (17.6%) inside. This classification does not establish legal ownership. In the full 57-brand Polish aggregate, four recruitment hosts receive 637 citations against 297 for Polish Wikipedia. The results show why normalization, classification rules and denominators belong in citation audits. They describe displayed links without estimating causal effects on brand reputation.
Automated scores are often used to summarize how large language models describe brands across prompts, providers, and languages. Such scores can vary because the answers differ, because the scoring instrument behaves differently across texts or languages, or for both reasons. We examine this measurement problem in 12,933 responses from a design crossing 20 stored brand labels, eight query languages, three provider aliases, and 15 prompt identifiers. The outcome is the signed winning-class confidence from a multilingual sentiment classifier: neutral winners are coded zero, while positive and negative winners receive signed confidence. A crossed linear mixed model fitted to all responses assigns 26.49% of fitted variance to query language and 1.46% to brand. An exploratory refit after excluding English assigns 5.07% to language and 2.23% to brand. These percentages have different denominators: total fitted variance falls by 65.08%, and absolute brand variance falls by 46.65%. English contains 591 negative classifier scores among 1,620 answers, compared with 77 among 11,313 answers in the other seven languages. The result shows that the original variance decomposition is highly sensitive to English inclusion. It does not identify a causal English effect or establish that English answers are more negative toward the brands. The classifier was trained for tweet sentiment, receives no separate target-brand condition, and English is the only study language represented in its documented sentiment fine-tuning set. Automated score differences should therefore be checked as properties of both the answers and the measurement instrument before they guide substantive conclusions.
Laurito 등(PNAS 2025)은 동일한 제품, 논문 또는 영화에 대한 두 가지 설명 중 하나를 선택할 때, 대규모 언어 모델이 인간 평가자가 선호하는 정도를 크게 웃도는 마진으로 사람이 작성한 설명보다 언어 모델이 작성한 설명을 선호함을 보여주었다. 그들의 연구 설계는 다섯 개의 생성기(generator)와 동일한 다섯 개 모델을 선택기(selector)로 교차 배치하여, 해당 논문이 주요하게 다루지 않은 두 번째 질문을 가능하게 한다. 즉, 생성기와 선택기의 주효과가 예측하는 수준을 넘어 선택기가 자기 자신의 모델이 생성한 텍스트를 선호하는가 하는 점이다. 본 연구에서는 저자들의 공개 저장소에 있는 항목별 빈도(21,828건의 유효 시행, 모든 셀이 발표된 수치와 일치함)를 바탕으로 세 개의 5x5 행렬을 재구성하고, 선택기의 120가지 레이블 재배열에 대한 정확 순열 검정(exact permutation test)으로 검정되는 자기 모델(own-model) 항 $\gamma$를 포함한 이원 고정효과(two-way fixed-effects) 모델을 적합하였다. 그 결과 프리미엄은 제품에서 +0.013(정확 단측 p = 0.24), 논문 초록에서 -0.010(p = 0.74), 영화에서 +0.054(p = 0.07), 통합 분석에서 +0.019(p = 0.14, 95% 신뢰구간 -0.008 ~ 0.046)로 나타났다. GPT-3.5와 GPT-4 쌍에 대한 동일 벤더 항은 세 데이터셋 모두에서 음수였다. 위치 바이어스(position bias)는 개별 셀을 어느 방향으로든 최대 0.42 점유율 포인트까지 변동시켰으나, 순서에 영향을 받은 항목을 제거한 후에도 자기 모델 대비(contrast)는 변하지 않았다. 본 연구 설계는 0.05의 프리미엄을 제품에서 82%, 논문에서 88%, 영화에서 42%, 통합 분석에서 97%의 검정력으로 감지할 수 있었으며, 80% 검정력에서의 최소 감지 가능 효과 크기는 통합 분석 기준 0.034였다. 이러한 프리미엄의 부재는 약 0.04 점유율 포인트까지는 유의미한 정보를 제공하지만 그 이하에 대해서는 침묵한다. Tan 등(ACL 2024)의 4x4 행렬은 24개 재배열이 허용하는 최소 p값에서 $\gamma$ = +0.148을 보였으며, 동일 계열(same-family) 항도 동일한 크기였다. Laurito 등의 주요 결과는 여전히 유효하다. 즉, 모델들은 모델이 작성한 텍스트에 대한 선호도를 공유하며, 제품에 대해 모든 선택기가 77%에서 95%의 비율로 GPT-4의 설명을 선택하였다. 그러나 이 데이터가 보여주지 못하는 것은 모델이 자기 자신의 글을 인식하고 이를 우대한다는 증거다.
본 연구에서는 1부터 49까지의 서로 다른 무작위 정수 6개를 요청하는 작업에 대해 6가지 언어 모델(LM) 구성을 평가합니다. 4가지 영어 프롬프트 변형을 사용한 1,200회의 호출 시도 중 1,184개의 응답이 유효한 번호 조합을 생성했습니다. 숫자 출현 빈도의 유효 다양도(effective diversity)는 9.9에서 18.0 사이였으며, 이는 해당 표본 크기에서 독립 균등 추출(49개 중 6개)을 가정한 시뮬레이션의 하위 5백분위수 임계값인 46.6~46.7과 대비됩니다. 시스템들은 8~93개의 서로 다른 비순서 번호 조합을 생성했으며, 최빈 번호 조합이 유효 응답의 22.5~68.0%를 차지했습니다. 실제 물리적 복권 비교군으로 사용된 두 개의 폴란드 로또(Polish Lotto) 아카이브 표본은 더 작은 표본 크기에서도 41.1과 41.4의 유효 다양도를 보였습니다. 이러한 결과는 테스트된 배포 환경에서 상당한 수준의 집중 현상이 나타남을 보여줍니다. 다만 본 연구는 이러한 현상의 메커니즘을 규명하거나 다른 프롬프트, 온도(temperature) 또는 도구 구성에서의 성능까지 입증하지는 않습니다.
AI 가시성(visibility) 감사는 배포된 언어 모델들의 브랜드 추천을 시스템별 프로파일로 요약한다. 우리는 2025년 12월부터 2026년 2월 사이에 선물 추천, 기업 평판, 카테고리 소유권 질의에 걸쳐 다섯 개의 배포된 엔드포인트로부터 수집된 6,475개의 저장된 응답(6,324개 분석 가능)으로 구성된 하나의 코퍼스를 대상으로, 이러한 프로파일이 해당 시스템을 실제로 설명하는지를 검증한다. 수집 하니스(harness)는 많은 답변을 중간에서 잘라냈다: 카테고리 소유권 질의에서 Gemini 3 Flash 답변의 83.1%가 1,024토큰 출력 한도(output cap) 하에서 문장 중간에 끝난다. 모든 답변을 첫 800자로 자른 상태에서, 프롬프트(prompt)별로 교차 검증(cross-validation)된 문자 n-그램 분류기는 97.84%의 정확도로 하나의 응답을 GPT-5.2, Gemini 3 Flash, 검색 기능이 포함된 Gemini 3 Flash, Grok, Perplexity sonar-pro 중 하나로 귀속시킨다(응답 5,028개, 프롬프트 383개, 다수 클래스 31.5%, 분할 시드(split seed) 30개). 길이 정보만 사용하면 다수 클래스 비율 수준으로 떨어지고, 24개의 서식(formatting) 통계량은 95.79%에 도달하며, 브랜드명과 대문자로 시작하는 토큰을 마스킹해도 97.72%가 유지된다. 홀드아웃(held-out) 질의 조건에서는 크기 기준 가중 정확도 97.43%, 비가중 정확도 88.0%가 유지되지만, 하니스를 변경하는 검색 기반(retrieval-grounded) 조건에서는 어떤 Grok 답변도 Grok에 귀속되지 않는다(0/120). 모델×도메인×조건 단위로 집계한 50개 단위에서, 12개의 행동 특징(behavioural feature)은 그룹 교차 검증 하에서 네 개 시스템을 66.53%의 정확도로 구분하며, 이는 평균 33.71%, 95번째 백분위수 46.0%인 레이블 순열(label-permutation) 귀무 모형 대비 유의하다. 도메인을 넘어서면 집계된 프로파일은 실패한다: 카테고리 소유권 단위로 학습된 랜덤 포레스트(forest)는 선물 추천 단위 22개 전부를 잘못된 시스템에 할당하는데, 이는 브랜드 수의 역전 현상(선물 추천에서 응답당 8.41개 대 0.94개, 카테고리 소유권에서 3.01개 대 3.91개)과 일치하며, 반면 단일 응답은 89.92%의 균형 정확도(balanced accuracy)로 전이된다. 답변의 표면 형태(surface form)는 테스트된 질의 도메인 전반에 걸쳐 시스템 정보를 전달하지만, 집계된 브랜드 행동은 그렇지 않으며, 교차되지 않은(uncrossed) 실험 설계로는 시스템을 도메인이나 하니스와 분리할 수 없다.
동일한 구매 질문을 반복할 때 언어 모델의 브랜드 추천이 고갈되는지는 검색(retrieval) 여부에 달려 있다. 300개의 질문-엔진 셀(질문 50개, 엔진 6개, 각 15회 실행, 1,470개 판정된 조직에 대한 개방형 추출)에 걸쳐, 웹 검색 없이 답하는 다섯 엔진은 15회째 실행에서도 셀의 86–92%에서 한 번도 본 적 없는 브랜드를 계속 추가했으며, 조직 레퍼토리의 중앙값은 15–31개였다. 검색이 활성화된 한 엔진은 목록을 닫았다(조직 중앙값 8개, 셀의 64%에서 여전히 추가), 웹 검색 실행이 10회째에 포화에 도달했던 이전 네 개의 deep 셀과 일치했다. 인용 도메인 누적은 시험한 모든 시점에서 계속 증가했다. 네 개의 deep 셀은 24회째 실행에서도 도메인을 추가하고 있었고 관측된 Chao2 하한 추정치의 59–84%에 해당했으며, 검색 엔진의 breadth 셀 중 44%는 15회째 실행에서도 도메인을 추가하고 있었다. 단일 실행은 5회 실행 브랜드 집합의 62–77%를 보여 주며, 엔진 전반에서 질문 하나당 중앙값 38개 조직이 끌려 나오고 그중 중앙값 15개는 정확히 한 엔진에만 나타난다. 추정량은 exact rarefaction과 Chao2 richness이며, 병렬 고정 로스터 추출은 동일한 응답에서 평평한 곡선을 재현하므로, 로스터로 제한된 추적은 개방형 추출이 제거하는 평준화(plateau)를 인위적으로 만든다.
배경: 연구자들은 대규모 언어 모델(LLM)의 브랜드 추천에서 나타나는 확률적 변동을 감사하기 위해 동일한 프롬프트를 반복 사용하는 경우가 늘고 있으나, 반복 횟수를 설정하고 안정성 지표를 선택하며 신뢰도 임계값을 정하기 위한 표준화된 프로토콜은 존재하지 않는다. 목적: 본 연구는 온도 스케일링된 뉴클리어스 샘플링(nucleus sampling)의 생성 모델에 기반하여, LLM 브랜드 추천의 반복 질의 감사를 위한 재사용 가능한 프로토콜로서 주사위 굴리기 방법(Dice Roll Method)을 공식화한다. 방법: 전체 응답 분산을 샘플링, 프롬프트 표현, 실행 간(run-to-run), 모델 버전 성분으로 분해한다. 구성 요소는 다음과 같다: 반복을 반복 측정으로 취급하는 음이항 혼합 모델(negative-binomial mixed model), 분포 무관 효과 크기(effect size)인 Cliff's delta, 의존성을 보존하는 부트스트랩, 시뮬레이션 기반 검정력 분석, 일반화가능도 이론(generalizability theory) 분해, 그리고 고정된 스냅샷에 대한 드리프트 진단이다. 우리는 다섯 건의 브랜드 추천 감사 연구를 재분석하였으며, 여기에는 약 190,000건의 관측치, 270개 이상의 브랜드, 6개 언어, 5회에서 40회에 이르는 반복 횟수가 포함된다. 결과: D-study로부터 세 단계의 반복 횟수 지침이 도출되었다. 탐색적(n = 5, G = 0.58), 확증적(n = 10, G = 0.74), 엄밀(n = 15, G = 0.81) 단계이며, 이는 효과 크기 및 일반화가능도 목표와 연계된다. 네 가지 지표군(횟수, 집합, 임베딩, 공정성 보정 PASOR)은 서로 보완적이므로, 단일 지표보다 간결한 지표 묶음을 사용하는 것이 타당하다. 세 개의 독립 코퍼스(Motoki 외, 100회 반복; Rozado, 24개 모델; llm-stability)에 대한 사전 등록된 외부 검증은 39개 셀 중 37개에서 실패 없이 D-study의 신뢰도 예측을 재현하였고, n = 5의 검정력 값도 소수점 둘째 자리까지 재현하였다. 다만 고정된 단계 기준은 다른 코퍼스로 전이되지 않았으며, 이는 먼저 파일럿을 수행한 뒤 이를 바탕으로 반복 횟수를 산출하는 접근을 뒷받침한다. 결론: 본 프로토콜은 실제 자기회귀 생성의 조건부적이고 비가우시안적인 구조 하에서, LLM 브랜드 추천의 반복 질의 감사에 통계적으로 원리에 부합하는 토대를 제공한다.