arXiv:2610.00253v1 cs.IR

LLM 브랜드 추천에서의 시스템 귀속: 단일 응답은 시스템을 식별하지만 집계된 브랜드 프로파일은 전이되지 않는다

System Attribution in LLM Brand Recommendations: Single Responses Identify the System, Aggregated Brand Profiles Do Not Transfer

Dmitrij Żatuchin

제출 2026-09-23

저자 비고

arXiv Comments

30 pages, 5 figures, 9 tables. Appendix D documents corrections to an earlier manuscript

한국어 초록

AI 가시성(visibility) 감사는 배포된 언어 모델들의 브랜드 추천을 시스템별 프로파일로 요약한다. 우리는 2025년 12월부터 2026년 2월 사이에 선물 추천, 기업 평판, 카테고리 소유권 질의에 걸쳐 다섯 개의 배포된 엔드포인트로부터 수집된 6,475개의 저장된 응답(6,324개 분석 가능)으로 구성된 하나의 코퍼스를 대상으로, 이러한 프로파일이 해당 시스템을 실제로 설명하는지를 검증한다. 수집 하니스(harness)는 많은 답변을 중간에서 잘라냈다: 카테고리 소유권 질의에서 Gemini 3 Flash 답변의 83.1%가 1,024토큰 출력 한도(output cap) 하에서 문장 중간에 끝난다. 모든 답변을 첫 800자로 자른 상태에서, 프롬프트(prompt)별로 교차 검증(cross-validation)된 문자 n-그램 분류기는 97.84%의 정확도로 하나의 응답을 GPT-5.2, Gemini 3 Flash, 검색 기능이 포함된 Gemini 3 Flash, Grok, Perplexity sonar-pro 중 하나로 귀속시킨다(응답 5,028개, 프롬프트 383개, 다수 클래스 31.5%, 분할 시드(split seed) 30개). 길이 정보만 사용하면 다수 클래스 비율 수준으로 떨어지고, 24개의 서식(formatting) 통계량은 95.79%에 도달하며, 브랜드명과 대문자로 시작하는 토큰을 마스킹해도 97.72%가 유지된다. 홀드아웃(held-out) 질의 조건에서는 크기 기준 가중 정확도 97.43%, 비가중 정확도 88.0%가 유지되지만, 하니스를 변경하는 검색 기반(retrieval-grounded) 조건에서는 어떤 Grok 답변도 Grok에 귀속되지 않는다(0/120). 모델×도메인×조건 단위로 집계한 50개 단위에서, 12개의 행동 특징(behavioural feature)은 그룹 교차 검증 하에서 네 개 시스템을 66.53%의 정확도로 구분하며, 이는 평균 33.71%, 95번째 백분위수 46.0%인 레이블 순열(label-permutation) 귀무 모형 대비 유의하다. 도메인을 넘어서면 집계된 프로파일은 실패한다: 카테고리 소유권 단위로 학습된 랜덤 포레스트(forest)는 선물 추천 단위 22개 전부를 잘못된 시스템에 할당하는데, 이는 브랜드 수의 역전 현상(선물 추천에서 응답당 8.41개 대 0.94개, 카테고리 소유권에서 3.01개 대 3.91개)과 일치하며, 반면 단일 응답은 89.92%의 균형 정확도(balanced accuracy)로 전이된다. 답변의 표면 형태(surface form)는 테스트된 질의 도메인 전반에 걸쳐 시스템 정보를 전달하지만, 집계된 브랜드 행동은 그렇지 않으며, 교차되지 않은(uncrossed) 실험 설계로는 시스템을 도메인이나 하니스와 분리할 수 없다.

원문 초록

Audits of AI visibility summarise the brand recommendations of deployed language models into per-system profiles. We test whether such a profile describes the system on one corpus of 6,475 stored responses (6,324 analysable) collected between December 2025 and February 2026 from five deployed endpoints across gift-recommendation, corporate-reputation and category-ownership queries. The collection harness cut many answers short: 83.1% of Gemini 3 Flash answers in category ownership end mid-sentence under a 1,024-token output cap. With every answer cut to its first 800 characters, a character n-gram classifier cross-validated by prompt attributes one response to GPT-5.2, Gemini 3 Flash, Gemini 3 Flash with search, Grok or Perplexity sonar-pro with 97.84% accuracy (5,028 responses, 383 prompts, majority class 31.5%, 30 split seeds). Length alone falls to the majority rate, 24 formatting statistics reach 95.79%, and masking brand names and capitalised tokens leaves 97.72%. Held-out query conditions keep 97.43% weighted by size and 88.0% unweighted; in a retrieval-grounded arm that changes the harness, no Grok answer is attributed to Grok (0/120). Aggregated into 50 model-by-domain-by-condition units, twelve behavioural features separate four systems at 66.53% under grouped cross-validation, against a label-permutation null with mean 33.71% and 95th percentile 46.0%. Across domains the aggregate profile fails: a forest trained on category-ownership units assigns all 22 gift units to the wrong system, consistent with a reversal in brand volume (8.41 against 0.94 brands per response in gifts, 3.01 against 3.91 in category ownership), while single responses transfer at 89.92% balanced accuracy. The surface form of an answer carries the system across the query domains tested; aggregated brand behaviour does not, and the uncrossed design cannot separate the system from the domain or the harness.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.00253v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.