arXiv:2609.05381v1 cs.AI

분자 데자뷔: 프론티어 언어 모델에서 공표값의 자릿수 수준 검색

Molecular Déjà Vu: Digit-Level Retrieval of Published Values in Frontier Language Models

Matthias Busch, Marius Tacke, Sviatlana V. Lamaka, Mikhail L. Zheludkevich, Christian J. Cyron, Roland C. Aydin, Christian Feiler

제출 2026-09-04

한국어 초록

대규모 언어 모델(LLM)은 분자 속성 벤치마크에서 점점 더 많이 평가되지만, 정확도만으로는 속성을 예측하는 모델과 공표된 수치를 검색(retrieval)하는 모델을 구분할 수 없다. 우리는 22개의 프론티어 모델을 12개 회귀 벤치마크에 대해 문자 그대로 검색(verbatim retrieval) 관점에서 감사했으며, 이 현상이 널리 퍼져 있으나 상대적으로 벤치마크별로 특정적임을 확인했다. 다섯 개 데이터셋에서는 LLM의 50% 이상이 문자 그대로 검색을 보였고, 나머지 데이터셋에서는 고립된 셀에만 나타났다. 실험을 두 가지 추론(reasoning) 수준에서 수행한 결과, 추론이 검색을 바꾼다는 것을 확인했다. 동일한 분자와 동일한 프롬프트로 같은 실험을 수행했을 때, 더 높은 추론 수준에서 최저 수준보다 89% 더 자주 플래그되었다. 마지막으로, 가장 오염이 심한 사례에서 검색을 차단하는 방법을 시험했으며, 일부 경우 최강 모델은 변환된 SMILES 문자열과 원본 레이블의 조합을 여전히 인식함을 확인했다. 또한 검색을 억제하면 서로 다른 모델의 예측 오차가 상대적 의미에서 더 가까워지는 반면, 문자 그대로 검색 사용의 차이는 모델들을 더 멀어지게 한다. 이는 LLM의 일반적 예측 능력이 암기된 값의 양만으로 결정되지 않음을 시사한다. 본 연구는 LLM을 이용한 분자 회귀 벤치마크에서 문자 그대로 검색의 규모와 깊이에 대한 개관을 제공한다.

원문 초록

Large language models (LLMs) are increasingly evaluated on molecular property benchmarks, but accuracy cannot distinguish a model that predicts a property from one that retrieves a published number. We audit 22 frontier models on 12 regression benchmarks for verbatim retrieval and find that it is widespread but relatively benchmark-specific: on five datasets more than $50\%$ of the LLMs show verbatim retrieval, while on the remaining datasets it appears only in isolated cells. We run our experiments at two reasoning levels and find that reasoning changes retrieval. The same experiments, on the same molecules and with the same prompt, are flagged $89\%$ more often at the higher reasoning level than at the lowest one. Finally, we test a way to interrupt retrieval in our most contaminated cases, and find that the strongest models in some cases still recognise a combination of transformed SMILES strings and original labels. Furthermore, suppressing retrieval moves the prediction errors of the different models closer together in relative terms, while their differing use of verbatim retrieval spreads them apart. This indicates that the general predictive capability of an LLM is not determined solely by the amount of memorised values. This work provides an overview of the amount and depth of verbatim retrieval in molecular regression benchmarks using LLMs.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2609.05381v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.