Current analyses of LLMs' parametric knowledge are largely output-centric, drawing conclusions about what a model knows without verifying what it was actually trained on. This leaves fundamental questions, such as whether a correct response reflects genuine generalization or rote memorization, grounded in speculation rather than evidence. To resolve these ambiguities, we introduce LUMOS, a diagnostic framework that traces knowledge across training-data exposure, internal representations, and behavioral outputs, leveraging OLMo 2 with its fully transparent training corpus. By grounding analysis in verified exposure, we reveal that models internally encode rare facts with high separability (84%) yet fail to express them behaviorally (54%), though this retrieval gap narrows with scale. Furthermore, when models are asked to self-reflect on their own answers, they perform reliably on trained content (83%) but drop to random-baseline levels (49%) on unseen content. This collapse persists even under chain-of-thought prompting, which inflates confidence signals rather than improving calibration. Collectively, these findings demonstrate that incorporating the training-data axis into LLM evaluation transforms speculative diagnoses into verifiable claims, and we advocate that this axis should be a standard component of knowledge assessment in LLMs.
검색 단계 이전에 최전선 모델이 자체 가중치에서 한 사람이나 도구에 대해 기억하는 내용은, 사람이 처음 접하는 설명을 형성하는 경우가 많아, 그 파라메트릭 코퍼스 존재를 측정 문제로 만든다. 인용은 모델이 연구자를 인식하는지 여부의 약 1/3을 설명한다. 우리는 잔차를 목표로 삼아 [0,1] 인식 점수인 NameRank를 구축했다. 54개 코호트에 속한 4,685개 개체 각각에 대해 36개 모델에서 하나의 개방형 질문으로 탐색하고, 독립적 심판이 선별된 gold 기준에 대해 이진 판정을 반환한다—모델이 이 정확한 개체에 대해 구체적이고 추측 불가능한 사실을 말했는가?—따라서 환각, 컨텍스트 반향, 추측은 점수를 얻지 못한다. 합성-null 개체는 하한을 거의 0에 유지하고, 판정은 모델이 아니라 개체를 추적한다. 하나의 논제가 발견을 조직한다: 인식은 자격이나 직함이 아니라 이름이 붙은 색인 가능한 인공물에 지불된다. 모든 올림픽식 자격은 활동 연구자 기준선 아래에 위치하는데, 메달과 함께 제공되는 이름 붙은 인공물이 없기 때문이다. 그러나 노벨, 튜링, 필즈상 수상자들이 패널을 포화시키는 희대 연구자 계층에서는 순위가 뒤집힌다. 독립 창작자에게는 도구가 제작자보다 높은 순위를 차지하며, 전파되는 자격은 이름 붙은 방법이나 수상 논문이다. 대조적으로, 유명한 인공물의 많은 이름 붙은 기여자 중 하나인 것은 거의 아무것도 얻지 못한다—주력 모델 보고서나 시스템 카드에 나열된 저자들은 인식 하한 근처에 위치한다—인식은 그 뒤의 명단이 아니라 인공물 고유의 뚜렷한 이름에 부착되기 때문이다. 어떤 서지계량 지표도 인식을 잘 예측하지 못한다. 상위 밀도 기관은 동일 인용 수에서 동료보다 더 높은 인식을 보이며, 258개 뉴스 사건에서 인식은 지속성이 아니라 최고 각광도에 부하된다. 자기 보고 탐색은 내성이 자체 지식이 아니라 코퍼스 사전(prior)을 읽는다는 것을 보여준다.
Parametric knowledge in Large Language Models is not equally accessible across languages. As a result, standard inference techniques often struggle to surface localized facts, leading to failures in cross-lingual knowledge transfer and consistency. In this work, we investigate techniques for accessing hidden factual knowledge by exploring cross-lingual prompting strategies. We identify four inherent dimensions of cross-lingual exploration that directly govern parametric knowledge retrieval and evaluate them on multilingual factual benchmarks covering 17 typologically diverse languages. Our results demonstrate that cross-lingual exploration significantly improves knowledge transfer and factual recall, representing a more efficient compute Pareto frontier than native-language scaling. Furthermore, we observe corresponding improvements in cross-lingual consistency, exceeding what can be explained by accuracy gains alone. Overall, our work establishes multilingual prompt exploration as a highly effective inference-time strategy for unlocking latent parametric knowledge.
LLMpedia는 대규모 언어 모델(LLM)의 매개변수 메모리에서 약 130만 개의 백과사전 기사를 생성하여 사실성(factuality)을 평가하는 투명한 프레임워크를 제시합니다. `gpt-5-mini`의 검증 가능한 참 비율은 68.4%로 MMLU보다 낮으며, 이러한 격차는 반박보다는 검증 불가능성(unverifiability)에 기인함을 입증했습니다.