PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.09955v1cs.LG

금융 애플리케이션에서의 멀티모달 이벤트 시퀀스를 위한 파운데이션 모델

A Foundation Model for Multimodal Event Sequences in Financial Applications

예측 모델링은 현대 금융 서비스의 핵심 구성 요소로, 광범위한 태스크들이 전통적으로 수동으로 엔지니어링된 테이블형 피처를 기반으로 학습된 별도의 모델로 처리되어 왔다. 이러한 태스크별 접근 방식은 재사용성을 제한하고, 거래 내역 및 디지털 상호작용 신호와 같은 이종 데이터 소스를 완전히 활용하기 어렵게 만든다. 본 논문에서는 멀티모달 사용자 이벤트 시퀀스에 대해 파운데이션 트랜스포머 모델을 사전학습하는 접근 방식을 제안한다. 다수의 데이터 소스로부터의 이벤트를 단일 시계열 시퀀스로 통합하여 이종 모달리티의 조기 융합(early fusion)을 가능하게 하고, 다음 이벤트 예측(next-event prediction) 목적 함수를 통해 범용 표현을 학습한다. 이렇게 학습된 표현은 기존의 엔지니어링된 사용자 피처와 결합되며, 그 위에 경량 신경망 모델을 학습시켜 다수의 다운스트림 태스크에 활용한다. 제안된 시스템은 개발 오버헤드를 줄이면서 기존의 태스크별 모델보다 우수한 성능을 보인다. 해당 접근 방식은 동유럽 최대 은행 중 한 곳의 프로덕션 환경에 배포되었으며, 비즈니스 지표의 측정 가능한 개선으로 이어졌다.

arXiv:2606.13100v1cs.CL

LEDGER: 그라운딩된 재무 검색 및 추출을 위한 기업 연차 보고서의 롱컨텍스트 벤치마크

LEDGER: A Long-Context Benchmark of Corporate Annual Reports for Grounded Financial Retrieval and Extraction

그림과 표를 포함한 4,999개의 기업 연차 보고서로 구성된 LEDGER 벤치마크를 공개하여 롱컨텍스트 대규모 언어 모델의 재무 검색 및 추출 능력을 평가합니다. 이 데이터셋은 페이지 수준 KPI 검색, 대화형 단일 값 조회, 전체 KPI 추출 등 세 가지 난이도의 평가 작업과 인간 OCR 품질 주석을 제공합니다.