NoLBERT-Calls: 미래 정보 없이 실적 발표 통화 읽기
NoLBERT-Calls: Reading Earnings Calls Without Hindsight
한국어 초록
언어 모델은 이제 실적 발표 통화에서 경영진이 한 말을 정량화하는 표준 도구다. 하지만 이 분석에 쓰이는 인코더는 대개 백테스트 기간과 같은 연도의 텍스트로 사전학습됐다. 테스트 기간을 따로 떼어 두어도 미래 정보가 특징에 이미 반영돼 있으므로 이를 제거할 수 없다. 본 연구는 1976년부터 1995년까지 발행된 텍스트만으로 사전학습한 인코더 NoLBERT를 실적 발표 통화에 적응시킨다. 이때 2023년 12월 31일 이후 자료는 사용하지 않는다. 통화 자체가 학습 신호를 제공한다. 애널리스트의 질문 뒤에는 항상 경영진의 답변이 나오며, 모델은 같은 통화에서 나온 다른 답변들 사이에서 해당 답변을 찾도록 학습한다. 2025년 1월부터 2026년 10월까지 미국의 실적 발표 통화 전체(20,323건, 질문 254,575개)에서 평가했으며, 모델링에 관한 결정은 모두 2024년 통화로 내렸다. 적응시킨 NoLBERT-Calls-2023은 질문의 78.0%에서 실제 답변을 1순위로 골랐다(95% 구간 77.8~78.2%, 무작위 선택 8.0%). 적응 전 정확도는 26.3%였다. 실적 발표 통화에 적응시킨 ChronoBERT보다 1.0%포인트, 같은 방식으로 적응시킨 FinBERT보다 3.4%포인트 높았다. 성능이 가장 좋은 기성 검색기와 BM25보다 각각 18.7%포인트와 19.8%포인트 높았다. 2013~2026년의 연도별 시험에서는 미래 정보를 미리 본 데 따른 성능 이점이 나타나지 않았다. 2012년까지의 자료에만 적응시킨 모델과 비교했을 때, 공개한 모델은 학습에 사용한 연도에서 처음 보는 연도보다 더 나은 성능을 보이지 않았다. 데이터 시점을 제한하면 계산 비용이 든다. 동일한 150분 학습 절차에서 NoLBERT의 적응 성능은 인코더 네 종 중 가장 낮았다. 최종적인 성능 우위는 약 13 GPU시간을 들인 더 긴 단계별 적응 절차에서 나왔다.
원문 초록
Language models are now a standard tool for measuring what managers say on earnings calls, but the encoders behind these measures were usually pretrained on text from the same years a backtest covers. Holding out a test period does not remove that hindsight, because it sits in the features. We adapt NoLBERT, an encoder pretrained only on text published between 1976 and 1995, to earnings calls without letting it read anything dated after 31 December 2023. The calls supply the training signal themselves: every analyst question is followed by management's answer, and the model learns to pick that answer out from the other answers of the same call. We test on every US call from January 2025 to October 2026 (20,323 calls, 254,575 questions) and make every modeling choice on calls from 2024. The adapted model, NoLBERT-Calls-2023, ranks the true answer first for 78.0% of questions (95% interval 77.8-78.2; chance 8.0%), against 26.3% before adaptation. It is 1.0 point ahead of a call-adapted ChronoBERT, 3.4 points ahead of a call-adapted FinBERT, and 18.7 and 19.8 points ahead of the best off-the-shelf retriever and BM25. A year-by-year test over 2013-2026 finds no look-ahead premium: relative to a model adapted only through 2012, the released model does no better on the years it was trained on than on years it never saw. The price of the cutoff is compute: under one shared 150-minute recipe NoLBERT adapts least well of four encoders, and its lead comes from a longer, staged adaptation of about 13 GPU-hours.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.19849v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.