arXiv:2608.25245v1 cs.IR

LLM 질의 시뮬레이션의 '지식의 저주': 정답 측 침투를 추적하기 위한 개념 출처 분석

The "Curse of Knowledge" in LLM Query Simulation: Concept Provenance for Tracing Answer-Side Intrusion

Chenglong Ma, Xinye Wanyan, Danula Hettiachchi, Ziqi Xu, Jeffrey Chan

제출 2026-08-26

한국어 초록

LLM이 생성한 검색 질의는 정보 검색(IR) 평가를 보강하는 데 널리 사용되지만, 정답 측 문서 지식을 전제로 하는 개념을 포함할 수 있으며, 이는 검색 이전 단계 사용자의 정보 접근 경계를 위반한다. 중복도, 다양성, 효과성을 포함한 기존 검증 지표로는 드문 인간 꼬리(human-tail) 변이와 정답 측 침투 후보를 구분할 수 없다. 본 논문은 질의 개념을 백스토리 지지(backstory-supported), 인간 중심(human-central), 인간 꼬리(human-tail), 정답 측 후보(candidate answer-side) 영역으로 배정하는 프레임워크인 개념 출처 분석(concept provenance)을 제안하며, 이는 검색 지표만으로는 탐지할 수 없는 경계를 운용 가능하게 만든다. UQV100의 100개 주제, 8개 LLM, 5개 프롬프트 조건에 걸친 77,004개 질의에 두 가지 추출 파이프라인으로 개념 출처 분석을 적용한 결과, 다섯 조건 평균에 대해 파이프라인 간 토큰-HCIR 스피어만 상관계수 rho 1.0을 얻었다. 정답 측 후보 개념은 비일반(non-generic) 개념의 7.40퍼센트를 차지하며 100개 주제 중 97개에서 나타나고, 주제가 분산의 약 67퍼센트를 설명한다. 인간 검증에서는 완화된 정밀도(relaxed precision) 68.2퍼센트를 보였으며, 지식 침투(knowledge intrusion) 45.5퍼센트와 배포 침투(deployment intrusion) 45.0퍼센트라는 두 가지 메커니즘이 드러났다. 진단 프로브(diagnostic probe)는 국소적으로 불균형한 검색 효과를 보여, 삭제 효과 크기가 d = -0.47로 무작위 삭제의 d = -0.34보다 컸으나, 이러한 개념이 설명하는 전체 평가 분산은 2퍼센트 미만이다. 따라서 개념 출처 분석은 평가 변화 예측기가 아니라 경계 준수 진단 도구로 기능한다. 실험한 조건에서는 어떤 프롬프트 조건도 침투를 제거하지 못했으며, 생성 후 개념 출처 기반 선택은 99퍼센트의 제거율을 달성한다.

원문 초록

LLM-generated search queries are widely used to augment IR evaluation, yet they may contain concepts that presuppose answer-side document knowledge, violating the information-access boundary of pre-search users. Existing validation metrics, including overlap, diversity, and effectiveness, cannot distinguish rare human-tail variation from candidate answer-side intrusion. We introduce concept provenance, a framework that assigns query concepts to backstory-supported, human-central, human-tail, and candidate answer-side zones, operationalizing a boundary that retrieval metrics alone cannot detect. Applying concept provenance to 77,004 queries across 100 UQV100 topics, 8 LLMs, and 5 prompt conditions with two extraction pipelines, we obtain a cross-pipeline token-HCIR Spearman rho of 1.0 over five condition means. Candidate answer-side concepts constitute 7.40 percent of non-generic concepts and appear in 97 of 100 topics, with topic explaining approximately 67 percent of variance. Human validation yields 68.2 percent relaxed precision, revealing two mechanisms: knowledge intrusion at 45.5 percent and deployment intrusion at 45.0 percent. Diagnostic probes show disproportionate localized retrieval effects, with deletion effect size d = -0.47 compared with d = -0.34 for random deletion, but these concepts explain less than 2 percent of aggregate evaluation variance. Concept provenance therefore serves as a boundary-compliance diagnostic rather than an evaluation-shift predictor. Under the tested conditions, no prompt condition eliminates intrusion; post-generation concept-provenance selection achieves 99 percent elimination.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2608.25245v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.