arXiv:2609.04047v1 cs.IR

주사위 굴리기 방법(Dice Roll Method): 대규모 언어 모델 브랜드 추천의 반복 질의 감사를 위한 표준화된 프로토콜

The Dice Roll Method: A Standardized Protocol for Repeated-Query Auditing of Large Language Model Brand Recommendations

Dmitrij Żatuchin

제출 2026-09-03

한국어 초록

배경: 연구자들은 대규모 언어 모델(LLM)의 브랜드 추천에서 나타나는 확률적 변동을 감사하기 위해 동일한 프롬프트를 반복 사용하는 경우가 늘고 있으나, 반복 횟수를 설정하고 안정성 지표를 선택하며 신뢰도 임계값을 정하기 위한 표준화된 프로토콜은 존재하지 않는다. 목적: 본 연구는 온도 스케일링된 뉴클리어스 샘플링(nucleus sampling)의 생성 모델에 기반하여, LLM 브랜드 추천의 반복 질의 감사를 위한 재사용 가능한 프로토콜로서 주사위 굴리기 방법(Dice Roll Method)을 공식화한다. 방법: 전체 응답 분산을 샘플링, 프롬프트 표현, 실행 간(run-to-run), 모델 버전 성분으로 분해한다. 구성 요소는 다음과 같다: 반복을 반복 측정으로 취급하는 음이항 혼합 모델(negative-binomial mixed model), 분포 무관 효과 크기(effect size)인 Cliff's delta, 의존성을 보존하는 부트스트랩, 시뮬레이션 기반 검정력 분석, 일반화가능도 이론(generalizability theory) 분해, 그리고 고정된 스냅샷에 대한 드리프트 진단이다. 우리는 다섯 건의 브랜드 추천 감사 연구를 재분석하였으며, 여기에는 약 190,000건의 관측치, 270개 이상의 브랜드, 6개 언어, 5회에서 40회에 이르는 반복 횟수가 포함된다. 결과: D-study로부터 세 단계의 반복 횟수 지침이 도출되었다. 탐색적(n = 5, G = 0.58), 확증적(n = 10, G = 0.74), 엄밀(n = 15, G = 0.81) 단계이며, 이는 효과 크기 및 일반화가능도 목표와 연계된다. 네 가지 지표군(횟수, 집합, 임베딩, 공정성 보정 PASOR)은 서로 보완적이므로, 단일 지표보다 간결한 지표 묶음을 사용하는 것이 타당하다. 세 개의 독립 코퍼스(Motoki 외, 100회 반복; Rozado, 24개 모델; llm-stability)에 대한 사전 등록된 외부 검증은 39개 셀 중 37개에서 실패 없이 D-study의 신뢰도 예측을 재현하였고, n = 5의 검정력 값도 소수점 둘째 자리까지 재현하였다. 다만 고정된 단계 기준은 다른 코퍼스로 전이되지 않았으며, 이는 먼저 파일럿을 수행한 뒤 이를 바탕으로 반복 횟수를 산출하는 접근을 뒷받침한다. 결론: 본 프로토콜은 실제 자기회귀 생성의 조건부적이고 비가우시안적인 구조 하에서, LLM 브랜드 추천의 반복 질의 감사에 통계적으로 원리에 부합하는 토대를 제공한다.

원문 초록

Background: Researchers increasingly use repeated identical prompts to audit stochastic variation in large language model (LLM) brand recommendations, yet no standardized protocol exists for setting iteration counts, selecting stability metrics, or establishing reliability thresholds. Objective: We formalize the Dice Roll Method as a reusable protocol for repeated-query auditing of LLM brand recommendations, grounded in a generative model of temperature-scaled nucleus sampling. Methods: Total response variance is decomposed into sampling, prompt-phrasing, run-to-run, and model-version components. The stack: a negative-binomial mixed model with iterations as repeated measures; Cliff's delta as the distribution-free effect size; dependence-preserving bootstrap; simulation-based power; a generalizability-theory decomposition; drift diagnostics on pinned snapshots. We reanalyse five brand-recommendation auditing studies: approximately 190,000 observations, 270+ brands, 6 languages, iteration counts 5 to 40. Results: Three tiers of iteration guidance emerge from the D-study: exploratory (n = 5, G = 0.58), confirmatory (n = 10, G = 0.74), and rigorous (n = 15, G = 0.81), tied to effect-size and generalizability targets. The four metric families (count, set, embedding, fairness-adjusted PASOR) are complementary, motivating a compact metric battery over single indicators. A pre-registered external validation on three independent corpora (Motoki et al., 100-round; Rozado, 24 models; llm-stability) reproduces the D-study reliability prediction in 37 of 39 cells with no failures and the n = 5 power value to two decimals; the fixed tiers do not transfer, supporting a pilot-then-solve reading. Conclusion: The protocol gives repeated-query auditing of LLM brand recommendations a statistically principled footing under the conditional, non-Gaussian structure of real autoregressive generation.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2609.04047v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.