arXiv:2608.28478v1 cs.CL

장님과 코끼리: 롱테일 상충 지식 하에서 LLM의 인식론적 근시 탐색

Blind Men and the Elephant: Probing the Epistemic Myopia of LLMs under Long-Tail Divergent Knowledge

Zhuoshi Pan, Junru Lu, Yan Qian, H. Vicky Zhao, Di Yin, Xing Sun

제출 2026-08-28

한국어 초록

사실 기반 질의응답(QA)은 보통 단 하나의 정답(canonical answer)을 가정하여, 대규모 언어 모델(LLM)이 롱테일 사실에 대해 서로 다른 서술을 얼마나 유지하는지는 가려진다. 이 공백을 메우기 위해 우리는 감사 가능한 그래프 기반 파이프라인으로 생성한 1,094개의 질문으로 구성된 클로즈드북 지식 프로브 ElephantBench를 제안한다. 이 파이프라인은 노출도가 낮은 웹 코퍼스에서 관련 문서를 검색하고, 자연스럽게 발생하는 불일치를 식별한 뒤 이를 다중 서술 QA 레코드로 변환한다. 각 답변은 원 출처 문서 및 권위 있는 공개 웹 소스에 대해 검증되며, 이후 사람 어노테이터가 검토한다. 32개 모델에 걸쳐, 가장 강한 모델조차 질문의 52.4%에서만 두 서술을 모두 회복하며, 나머지 거의 모든 질문에서는 한 서술은 떠올리지만 다른 하나는 누락한다. 모델 크기 스케일링과 추론 시점의 reasoning은 회상을 개선하지만 이러한 불완전성을 없애지는 못한다. 코퍼스 분석은 further 노출 불균형이 지배적 서술에 유리함을 보여 주며, 소수 측 노출이 더 클수록 더 완전한 회상과 연관된다. 이러한 결과는 ElephantBench를 파라메트릭 메모리에서 인식론적 근시를 진단하는 재현 가능한 지식 프로브로 자리매김한다. 더 넓게, 우리의 그래프 기반 벤치마크 구축 파이프라인은 롱테일 코퍼스를 출처 추적 가능한 지식 프로브로 바꾸는 효율적이고 확장 가능한 방법을 제공하여, 차세대 LLM의 인식론적 엄밀성(epistemic rigour)을 평가하고 향상시키려는 노력을 뒷받침한다. 코드는 https://github.com/Tencent/ElephantBench 에서 이용할 수 있다.

원문 초록

Factual question answering (QA) typically assumes a single canonical answer, obscuring whether large language models (LLMs) retain divergent accounts of long-tail facts. To address this gap, we introduce ElephantBench, a closed-book knowledge probe comprising 1,094 questions generated through an auditable graph-based pipeline. The pipeline retrieves related documents from a low-exposure web corpus, identifies naturally occurring disagreements, and converts them into multi-account QA records. Each answer is verified against the originating documents and authoritative public web sources and is then reviewed by human annotators. Across 32 models, even the strongest model recovers both accounts on only 52.4% of questions, while on nearly all remaining questions it recalls one account but omits the other. Scaling model size and inference-time reasoning improve recall but do not eliminate this incompleteness. Corpus analysis further shows that exposure imbalance favors the dominant account, whereas greater minority-side exposure is associated with more complete recall. These findings establish ElephantBench as a reproducible knowledge probe for diagnosing epistemic myopia in parametric memory. More broadly, our graph-based benchmark construction pipeline provides an efficient and scalable way to turn long-tail corpora into source-traceable knowledge probes, supporting efforts to evaluate and advance the epistemic rigour of next-generation LLMs. Code is available at https://github.com/Tencent/ElephantBench.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2608.28478v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.