arXiv:2611.22177v1 cs.AI

수익 우위는 학습 때 외운 정보에서만 나왔다: 실적 발표와 악재 전후의 LLM 거래 에이전트

The Only Edge Was Memorized in Training: LLM Trading Agents Around Earnings and Bad News

Jackson Wang

제출 2026-11-18

한국어 초록

대규모 언어 모델(LLM) 거래 에이전트는 뉴스로 평가하는 경우가 많다. 그러나 뉴스의 영향은 몇 분 안에 주가에 반영된다. 뉴스 제목을 공개 시점에 맞춰 재생한 벤치마크에서는 이를 거래에 사용해도 초과수익이 없었다. 수익 기회가 남을 수 있는 시점은 실적 발표처럼 날짜를 미리 아는 뉴스가 나오기 전과, 시장의 하락이 지나쳤을 경우 악재가 나온 뒤다. 그러나 LLM과 실적 발표를 다룬 연구는 발표와 동시에 또는 발표 뒤에 공개된 문서를 읽는다. 반전 효과 연구는 월별 포트폴리오를 정렬한다. 따라서 에이전트가 이 시점에 거래 비용을 빼고도 수익을 낼 수 있는지는 두 접근법 모두 알려 주지 못한다. 미래 정보가 유입되지 않는 같은 벤치마크에서 미국 대형주의 실적 발표 전 598건과 악재로 급락한 뒤 409건을 시험했다. 결정일 장 마감까지의 입력만 제공하고, 여러 단계로 진행하는 에이전트를 단일 호출, 단순 규칙, 로지스틱 회귀와 비교했다. 주식 이름을 공개하거나 가린 상태에서 각각 결정하게 했다. 공급사 네 곳의 모델 다섯 개에서 어떤 에이전트도 단순 전략을 앞서지 못했다. 실적 발표 전에는 주로 매수했고, 모든 발표 전에 매수하는 경우와 비슷한 수익을 냈다. 악재가 나온 뒤에는 Gemini 기반 에이전트가 거의 모든 하락을 과잉 반응으로 판단했으며, 모든 하락 종목을 매수하는 것보다 더 나은 종목을 고른 에이전트는 없었다. 유일한 우위는 모델이 학습 중 외운 정보에서 나왔다. 종목 코드와 날짜만 알려 줬을 때 GPT 기반 모델은 학습 기준일 전 실적 발표 뒤의 주가 방향을 59.2%, 기준일 이후의 방향을 53.3% 맞혔다. 따라서 이벤트 기반 에이전트는 단순 전략과 비교하고, 학습 기준일 이후의 데이터에서 종목을 가려 시험할 필요가 있다.

원문 초록

Large language model (LLM) trading agents are tested on news, but news reaches stock prices within minutes, and a benchmark that replays headlines at their publication time finds no alpha in trading on them. Money can then remain in two places, before news whose date is known, such as earnings announcements, and after bad news, if the market's fall went too far. However, studies of LLMs and earnings read documents published with or after the announcement, and studies of reversal sort monthly portfolios, so neither tells whether an agent can trade these moments after costs. In this paper, we test LLM agents at both moments on the same look-ahead-free benchmark, before 598 earnings announcements and after 409 bad-news drops of large US stocks. Every input is cut at the decision close, staged agents are compared with single calls, simple rules and a logistic regression, and every decision is made with and without the stock's name. Across five models from four vendors, no agent beat the simple bets. Before earnings, the agents mostly bought and earned what buying before every announcement earned, and after bad news, a Gemini-based agent called almost every fall an overreaction while no agent picked better dips than buying them all. The only gains came from what the models had memorized in training. Given only the ticker and the dates, a GPT-based model called the direction of 59.2% of the announcements before its training cutoff and 53.3% after it. Agent builders should therefore compare an event agent with the simple bet and test it blind after the training cutoff.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.22177v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.