한국어 초록
대규모 언어 모델(LLM)은 학습 데이터에 포함된 기간 동안 경제 예측에 신뢰할 수 없습니다. 우리는 주요 경제 지표, 뉴스 헤드라인, 주식 수익률 및 컨퍼런스 콜을 포함한 경제 및 금융 데이터에 대한 LLM의 기억력을 체계적으로 평가한 첫 번째 연구를 제공합니다. 우리의 연구 결과에 따르면 LLM은 지식 컷오프 날짜 이전의 주요 경제 변수의 정확한 수치 값을 완벽하게 기억할 수 있습니다. 이러한 기억은 서로 다른 날짜와 데이터 유형에 걸쳐 무작위로 분포하는 것으로 보입니다. 이 선택적 완벽 기억은 근본적인 문제를 야기합니다. 즉, 지식 컷오프 날짜 이전의 예측 능력을 테스트할 때 LLM이 예측을 하고 있는지 아니면 단순히 기억된 데이터를 접근하고 있는지를 구별할 수 없습니다. 역사적 데이터 경계를 존중하라는 명시적 지시가 LLM이 예측 작업에서 기억 수준의 정확도를 달성하는 것을 방지하지 못합니다. 또한 LLM은 최소한의 맥락적 단서로부터 마스킹된 엔티티를 재구성하는 데 뛰어난 것으로 보이며, 이는 마스킹이 동기화된 추론에 대한 불충분한 보호를 제공함을 시사합니다. 우리의 연구 결과는 LLM을 사용하여 역사적 데이터를 예측하거나 거래 전략을 백테스트하는 것에 대한 우려를 제기합니다. 그들의 명백한 예측 성공은 진정한 경제 통찰력이 아닌 단순한 기억을 반영할 수 있습니다. 미래의 지식이 LLM의 출력을 변경할 수 있는 모든 응용 프로그램은 기억에 영향을 받을 수 있습니다. 반면, 데이터 오염이 없다는 점과 일치하게 LLM은 지식 컷오프 날짜 이후의 데이터를 기억할 수 없습니다.
원문 초록
Large language models (LLMs) cannot be trusted for economic forecasts during periods covered by their training data. We provide the first systematic evaluation of LLMs' memorization of economic and financial data, including major economic indicators, news headlines, stock returns, and conference calls. Our findings show that LLMs can perfectly recall the exact numerical values of key economic variables from before their knowledge cutoff dates. This recall appears to be randomly distributed across different dates and data types. This selective perfect memory creates a fundamental issue -- when testing forecasting capabilities before their knowledge cutoff dates, we cannot distinguish whether LLMs are forecasting or simply accessing memorized data. Explicit instructions to respect historical data boundaries fail to prevent LLMs from achieving recall-level accuracy in forecasting tasks. Further, LLMs seem exceptional at reconstructing masked entities from minimal contextual clues, suggesting that masking provides inadequate protection against motivated reasoning. Our findings raise concerns about using LLMs to forecast historical data or backtest trading strategies, as their apparent predictive success may merely reflect memorization rather than genuine economic insight. Any application where future knowledge would change LLMs' outputs can be affected by memorization. In contrast, consistent with the absence of data contamination, LLMs cannot recall data after their knowledge cutoff date.
요약
대규모 언어 모델(LLM)의 경제 예측 능력에 대한 신뢰성 문제는 최근 연구에서 중요한 주제로 부각되고 있다. 본 연구는 LLM이 경제 및 금융 데이터를 기억하는 방식을 체계적으로 평가한 첫 번째 연구로, 주요 경제 지표, 뉴스 헤드라인, 주식 수익률, 컨퍼런스 콜 등의 데이터를 포함하여 LLM의 기억 능력을 분석하였다. 연구 결과, LLM은 지식 컷오프 날짜 이전의 주요 경제 변수에 대한 정확한 수치 값을 완벽하게 기억할 수 있으며, 이러한 기억은 날짜와 데이터 유형에 따라 무작위로 분포되어 있음을 보여주었다. 이러한 선택적 완벽 기억은 LLM이 예측을 수행하는 것인지 아니면 단순히 기억된 데이터를 활용하는 것인지 구별할 수 없게 만드는 근본적인 문제를 야기한다. 특히, 역사적 데이터 경계를 존중하라는 명시적 지시가 LLM의 예측 작업에서 기억 수준의 정확성을 방지하지 못한다는 점은 주목할 만하다. LLM은 최소한의 맥락 단서로부터 마스킹된 엔티티를 재구성하는 데 뛰어난 능력을 보이며, 이는 마스킹이 동기화된 추론에 대한 충분한 보호를 제공하지 않음을 시사한다. 이 연구는 LLM을 사용하여 역사적 데이터를 예측하거나 거래 전략을 백테스트하는 것에 대한 우려를 제기하며, LLM의 예측 성공이 진정한 경제 통찰력이 아닌 기억에 기반할 수 있음을 강조한다. 또한, LLM은 지식 컷오프 날짜 이후의 데이터를 기억할 수 없다는 점에서 데이터 오염이 없음을 보여준다. 이러한 발견은 LLM의 경제 예측 능력에 대한 신뢰성을 저하시킬 수 있으며, 이는 경제 데이터 분석 및 예측에 있어 중요한 함의를 가진다. 결론적으로, 본 연구는 LLM의 기억 문제를 심도 있게 분석하며, 경제 예측의 신뢰성에 대한 새로운 시각을 제공한다. LLM의 예측 능력에 대한 이해를 심화시키고, 향후 연구 방향에 대한 기초를 마련하는 데 기여할 것으로 기대된다.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
언어 모델에서 사실(factoid)의 연속적 암기
Continual Memorization of Factoids in Language Models
새로운 지식이 빠르게 축적되면서, 사전학습된 지식을 갖춘 언어 모델(LM)은 급속히 시대에 뒤처지게 된다. LM을 업데이트하는 일반적인 접근은 새로운 지식에 직접 미세조정하는 것이다. 그러나 최근 연구들은 암기를 위한 미세조정이 지식 저장에 비효율적일 수 있거나 환각(hallucination)을 악화시킬 수 있음을 보여준다. 본 연구에서는 연속적 암기(continual memorization)라고 부르는 설정을 제안한다. 이 설정에서 모델은 후속 데이터셋에 대한 여러 단계의 미세조정을 거치면서 일련의 사실(factoid)을 암기하고 유지해야 한다. 광범위한 실험을 통해 망각 패턴을 분석한 결과, LM이 광범위하게 망각에 시달리며, 특히 두 번째 단계에서 사실을 암기해야 할 때 더욱 그러함을 보인다. 망각은 학습 동역학을 수정함으로써 완화할 수 있다고 가정한다: (1) 사실을 학습할 때 암기 과정을 보호하거나 (2) 후속 학습 단계로 인한 간섭을 줄이는 것. 흥미롭게도, 다양한 학습 단계에서 무작위로 생성된 단어 시퀀스나 사전학습 코퍼스에서 샘플링한 일반 데이터를 혼합하는 것이 망각을 효과적으로 완화함을 발견한다(REMIX: Random and Generic Data Mixing). REMIX는 심각한 망각으로부터 성능을 회복할 수 있으며, 리플레이(replay) 방법 및 기타 연속 학습 베이스라인을 능가한다. REMIX가 학습 과정에 미치는 영향을 분석한 결과, 견고한 암기는 뚜렷한 패턴을 따름을 확인한다: 모델이 사실을 평소보다 더 이른 레이어에 저장하고 이를 보존하는 레이어를 다양화하며, 이로 인해 학습한 사실을 더 쉽게 회상하고 조작할 수 있다.
Reasoning or Memorization? Unreliable Results of Reinforcement Learning Due to Data Contamination
Dataset distillation for memorized data: Soft labels can leak held-out teacher knowledge
LexiMark: Robust Watermarking via Lexical Substitutions to Enhance Membership Verification of an LLM's Textual Training Data
Capacity Matters: a Proof-of-Concept for Transformer Memorization on Real-World Data
Diffusion models under low-noise regime
토론
이 논문과 연결된 포럼 글이 아직 없습니다.