PyTorchKR Papers

최신 논문

총 5편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2604.27374v2cs.AI

지도학습 금융 NLP의 측정 리스크: JF-ICR에서의 루브릭 및 지표 민감도

Measurement Risk in Supervised Financial NLP: Rubric and Metric Sensitivity on JF-ICR

대규모 언어 모델(LLM)이 실적 발표 전화회의, 투자자 관계 Q&A, 가이던스, 공시 언어를 신뢰할 수 있는 독자로 자리 잡으면서, 지도학습 금융 NLP 벤치마크는 모델 선택과 배포를 위한 의사결정 근거로 점점 더 많이 활용되고 있다. 여기에는 골드 라벨이 그러한 근거를 객관적으로 만든다는 숨은 가정이 깔려 있다. 그러나 벤치마크의 평가 기준 자체가 루브릭 문구, 지표 선택, 또는 집계 정책에 민감할 때 이 가정은 무너진다. 우리는 Japanese Financial Implicit-Commitment Recognition(JF-ICR)에서 이러한 측정 리스크를 연구한다(고정된 253개 항목 테스트 분할 × 4개 프론티어 LLM × 5개 루브릭 × 3개 temperature × 5개 서열 지표). 세 가지 결과가 뒤따른다. 첫째, 루브릭 문구는 모델이 부여한 라벨을 실질적으로 바꾼다: R2–R3 일치율은 70.0%에서 83.4%까지 범위를 보이며, 지배적인 변화는 +1/0 암묵적 커밋먼트(implicit-commitment) 경계 근처에서 나타난다. 이 패턴은 화용론적 경계 해석과 일치하지만, 현재 루브릭 변형이 의미, 예시, 장황함을 혼동하기 때문에 검증된 언어학적 인과 주장은 아니다. 둘째, JF-ICR 클래스 분포 하에서는 모든 지표가 계속해서 정보를 제공하는 것은 아니다. within-one accuracy는 근접 오답이 점수를 받고 다수 클래스가 지배하기 때문에 너무 쉽고, worst-class accuracy는 가장 희귀한 클래스에 예시가 단 2개뿐이라 너무 노이즈가 크다. 따라서 exact accuracy, macro-F1, weighted \k{appa}가 우리의 운영 규칙 하에서 식별 가능한(identifiable) 지표이다. 셋째, 순위 주장은 이러한 지표 식별 가능성 감사(audit) 이후에만 더 방어 가능해진다: Bradley–Terry, Borda, Ranked Pairs는 식별 가능한 지표 부분집합에서 일치하지만, 5개 지표 전체 스윕은 가장 근접한 쌍에서 불일치를 만든다. 본 기여는 새로운 리더보드가 아니라, 골드 라벨이 존재하지만 평가 기준은 여전히 거버넌스가 필요한 지도학습 금융 벤치마크를 위한 보고 절차(reporting discipline)이다.

arXiv:2607.08346v1cs.CL

세분화된 분류 체계를 활용한 SEC 8-K 공시의 근거 기반 이벤트 추출

Grounded Event Extraction from SEC 8-K Filings with a Fine-Grained Taxonomy

SEC 8-K 공시에서 대규모 언어 모델(LLM)을 활용해 119개 이벤트 유형으로 구성된 3단계 분류 체계에 따라 세밀한 이벤트 태그를 추출하는 2단계 시스템을 제안하며, 퍼지 n-그램 기반 원문 인용 검증과 별도의 품질 점수 산출 단계를 통해 정밀도를 12%에서 96%까지 향상시켰다. 292,984건의 공시에 적용해 생성한 601,088개의 근거 기반 태그는 SEC 항목 코드가 경제적으로 이질적인 이벤트를 혼재시킨다는 사실을 언어 모델 없이 수행한 이벤트 연구(event study)로도 확인하였다.

arXiv:2606.29734v1cs.CL

빠른 숫자, 느린 언어: 계량적·질적 실적 신호의 연결

Fast Numbers, Slow Language: Bridging Quantitative and Qualitative Earnings Signals

실적 발표는 두 가지 유형의 정보를 순차적으로 공개한다: 계량적 서프라이즈(주당순이익(EPS)/매출 대비 애널리스트 추정치)는 보도 자료와 금융 뉴스를 통해 먼저 도착하며, 알고리즘 트레이더들이 수 분 내에 처리한다; 질적 언어(경영진 톤, 가이던스, 질의응답(Q&A) 신뢰성)는 30~90분 후 실적 컨퍼런스 콜 전사본(ECT)에서 도착하며, 하룻밤 사이 인간의 해석을 필요로 한다. 금융 경제학자들은 계량적 서프라이즈를 50년간 연구해 왔고, 자연어 처리(NLP) 연구자들은 질적 ECT 신호를 10년간 연구해 왔다. 동일한 이벤트를 연구하고 있음에도 불구하고, 두 커뮤니티는 호환되지 않는 프레임워크를 사용해 왔다: 서로 다른 목표(수익률 대 변동성), 거래 설정(상위 10분위 매수 및 하위 10분위 매도 대 전체 거래), 지표(상위 20%와 하위 20% 간 수익률 차이(Q5-Q1) 대 평균 제곱 오차(MSE))로 인해 직접 비교 및 연결이 어려웠다. 우리는 EarningsInOne으로 이 두 커뮤니티를 연결한다. EarningsInOne은 S&P 1500(광범위한 미국 주식 유니버스, 2022-2025)에서 실적 뉴스, ECT, 장중 및 익일 가격을 정렬한 최초의 코퍼스다. 두 가지 신호 유형 모두에 통합된 거래 및 평가 도구를 적용하여, 우리는 명확한 속도 분리—빠른 숫자, 느린 언어—를 확인한다: 계량적 서프라이즈는 발표 시점에 정점을 이루며 다음 장 개장 전에 대부분 소멸된다; 질적 ECT 감성은 다음 거래일에 정점을 이루며 실제로 거래 가능하지만, 부호 무관 변동성을 포인트별 MSE로 최적화하는 기존 전사본 기반 평가 방식에 가려져 있었다.

arXiv:2606.18875v1cs.CL

합성 데이터 증류를 통한 효율적인 금융 언어 이해

Efficient Financial Language Understanding via Distillation with Synthetic Data

금융 분야의 레이블 부족 문제를 해결하기 위해, 소량의 수동 레이블 예제를 클러스터링해 시드를 선별하고 구조화된 퓨샷(few-shot) 프롬프팅으로 합성 데이터를 생성한 뒤 대규모 인스트럭션 튜닝 교사 모델의 지식을 컴팩트 학생 모델로 증류(distillation)하는 금융 감성 분석 프레임워크를 제안한다. 실험에서 클러스터링 기반 시드 선택이 무작위 샘플링보다 대표성 높은 합성 데이터를 만들어 최소 감독만으로도 우수한 성능을 달성하며, 복잡하고 노이즈가 많은 텍스트 도메인에서는 교사 모델을 능가한다.

arXiv:2606.12210v1cs.CL

뉴스가 시장을 예측할 수 있는가? 제로샷 금융 자연어 처리(NLP)의 한계와 설명 가능한 AI의 역할

Can News Predict the Market? Limits of Zero-Shot Financial NLP and the Role of Explainable AI

금융 뉴스는 단기 주가 변동을 신뢰할 수 있게 예측할 수 있는가? 대규모 언어 모델(LLM)의 발전에도 불구하고, 이 질문은 여전히 해결되지 않았다. 우리는 제로샷 자연어 처리(NLP) 프레임워크를 사용하여 이 문제를 다시 살펴보며, 모델이 도메인 특화 학습 없이 금융 뉴스에서 실행 가능한 신호를 추출할 수 있는지 조사한다. 우리는 제로샷 자연어 추론(NLI)을 시간적 집계와 결합하는 구조화된 파이프라인을 설계하며, 기사 간 정보를 통합할 때 최신성과 이벤트 의존적 영향 범위를 명시적으로 모델링한다. 고위험 설정에서 투명성에 대한 요구를 해결하기 위해, 우리는 예측을 토큰 수준, 기사 수준 및 집계된 증거와 연결하고 그라운딩된 자연어 근거를 생성하는 다층 설명 가능성 프레임워크를 도입한다. 여러 모델과 예측 범위에 걸쳐, 우리는 제로샷 접근 방식이 간단한 기준선(baseline)을 일관되게 능가하지 못한다는 것을 발견했으며, 특히 부정적 변동에서 성능이 낮아 뉴스 감정을 단기 가격 역학으로 매핑하는 데 더 깊은 구조적 한계가 있음을 시사한다. 그러나 설명 가능성 신호는 신뢰할 수 있는 예측과 신뢰할 수 없는 예측을 신뢰할 수 있게 구별하며, 정확도가 제한적일 때도 실용적인 가치를 제공한다. 이러한 발견은 제로샷 금융 자연어 처리(NLP)의 한계를 강조하며, 투명성과 불확실성 인식을 우선시하는 의사결정 지원 시스템으로의 전환을 동기부여한다. 코드: https://github.com/alimert05/zero-shot-stock-xai