arXiv:2610.19608v2 cs.IR

LLM 답변 속 브랜드 언급 예측: 수 시간에서 수 주에 걸친 동결 예측 평가

Forecasting Brand Mentions in LLM Answers: Frozen Predictions Evaluated from Hours to Weeks

Dmitrij \.Zatuchin

제출 2026-11-17

한국어 초록

기업과 에이전시는 이제 구매자가 추천을 요청할 때 대규모 언어 모델(LLM)이 어떤 브랜드를 언급하는지 모니터링한다. 답변은 실행마다 달라지므로 한 번의 확인은 오해를 낳을 수 있고, 반복 확인에는 비용이 든다. 본 연구는 이전의 20일 재현 연구를 확장하여, 과거의 브랜드 언급이 7주에 걸쳐 이후의 언급을 얼마나 잘 예측하는지 살펴본다. 동일한 54개의 구매자 질문에 대한 Gemini 3.1 Pro 답변의 전향적 수집 4개 웨이브 각각에 앞서 확률적 예측을 동결하였다. 질문은 영어, 에스토니아어, 핀란드어로 구성된 9개 질문군을 각각 두 시장에 대해 구성한 것이며, 질문마다 추적 대상 12개 브랜드 중 4개를 포함한다. 웨이브는 가장 이른 예측에 사용된 이력으로부터 1.5시간에서 52일 사이에 수집되었고, 각 웨이브는 162개 답변에서 얻은 648개의 브랜드 및 답변 라벨로 채점되었다. 평활화된 질문별 이력은 1.5시간 시점에서 Brier 점수 0.0599를 기록하였으며, 브랜드별 비율은 0.1131, 상수 0.5는 0.25였다. 첫 시험 이전에 도전자로 지정된 0.05–0.95로 클리핑된 통합 비율은 8시간 후 0.0259, 30일 후 0.0269, 52일 후 0.0328을 기록하였다. 이전 답변 전체 또는 전무에서 언급된 브랜드-질문 셀 중 94.5%~97.5%는 이후 각 웨이브에서도 그 패턴을 유지하였으며, 항상 언급에서 전혀 언급하지 않음으로, 또는 그 반대로 바뀐 경우는 없었다. 검색 지시를 주었을 때 162개 답변 중 100개에서 검색 활동이 나타난 반면, 이전의 Pro 답변은 540개 중 1개였다. 이 경우에도 언급은 예측 가능하였으며(Brier 0.0563), Pro의 이력은 더 작은 모델의 답변을 덜 잘 예측하였다(0.0787). 사람의 코딩은 샘플링된 300개 자동 라벨 중 298개와 일치하였고, 두 코더는 공유 항목 100개 중 99개에서 일치하였다(kappa = 0.98). 결과는 하나의 제공자 계열, 고정된 후보 집합, 어휘적 언급에 한정된다. 이 결과는 질문별 이력이 LLM 브랜드 언급에 대한 모든 예측 또는 모니터링 방법이 능가해야 할 기준선임을 뒷받침한다.

원문 초록

Companies and agencies now monitor which brands large language models (LLMs) name when buyers ask for recommendations. Answers vary between runs, so a single check can mislead and repeated checks cost money. We extend an earlier 20-day replication to ask how well past brand mentions predict later ones over seven weeks. We froze probabilistic forecasts before each of four prospective collection waves of Gemini 3.1 Pro answers to the same 54 buyer questions: nine question families in English, Estonian and Finnish, each for two markets, with four of 12 tracked brands per question. The waves were collected between 1.5 hours and 52 days after the history used by the earliest forecast, and each scored 648 brand and answer labels from 162 answers. A smoothed per-question history achieved a Brier score of 0.0599 at 1.5 hours, against 0.1131 for a per-brand rate and 0.25 for a constant 0.5. A pooled rate clipped to 0.05--0.95, named as the challenger before its first test, scored 0.0259 after 8 hours, 0.0269 after 30 days and 0.0328 after 52 days. Of the brand and question cells named in all or none of the earlier answers, 94.5% to 97.5% kept that pattern in each later wave, and none switched from always to never or back. With a search instruction, 100 of 162 answers returned search activity, compared with 1 of 540 earlier Pro answers; mentions stayed predictable (Brier 0.0563), and Pro history predicted a smaller model's answers less well (0.0787). Human coding agreed with 298/300 sampled automatic labels; two coders agreed on 99/100 shared items (kappa = 0.98). The results cover one provider family, a fixed candidate set and lexical mentions. They support per-question history as the baseline that any forecasting or monitoring method for LLM brand mentions should beat.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.19608v2제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.