arXiv:1807.04441

Tracking the Evolution of Words with Time-reflective Text Representations

Roberto Camacho Barranco, Raimundo F. Dos Santos, M. Shahriar Hossain

제출 2018-07-12

원문 초록

More than 80% of today's data is unstructured in nature, and these unstructured datasets evolve over time. A large part of these datasets are text documents generated by media outlets, scholarly articles in digital libraries, findings from scientific and professional communities, and social media. Vector space models were developed to analyze text data using data mining and machine learning algorithms. While ample vector space models exist for text data, the evolutionary aspect of ever-changing text corpora is still missing in vector-based representations. The advent of word embeddings has enabled us to create a contextual vector space, but the embeddings fail to consider the temporal aspects of the feature space successfully. This paper presents an approach to include temporal aspects in feature spaces. The inclusion of the time aspect in the feature space provides vectors for every natural language element, such as words or entities, at every timestamp. Such temporal word vectors allow us to track how the meaning of a word changes over time, by studying the changes in its neighborhood. Moreover, a time-reflective text representation will pave the way to a new set of text analytic abilities involving time series for text collections. In this paper, we present a time-reflective vector space model for temporal text data that is able to capture short and long-term changes in the meaning of words. We compare our approach with the limited literature on dynamic embeddings. We present qualitative and quantitative evaluations using the tracking of semantic evolution as the target application.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.21785v1cs.AI공통 태그 Time Series Analysis, Word Embeddings

계절성에서 의미론으로: 볼리비아 도로 봉쇄 예측을 위한 하이브리드 확률 예측 시스템 벤치마킹

From Seasonality to Semantics: Benchmarking a Hybrid Probabilistic Forecasting System for Roadblocks in Bolivia

볼리비아의 도로 봉쇄는 사회적 갈등 현상으로, 국내 총생산(GDP)의 4%에 해당하는 손실로 추산되는 파괴적인 경제적 영향을 미친다. 반복 발생과 그 영향에도 불구하고, 물류 의사결정을 위해 이러한 사건을 사전에 예측하는 현지 예측 시스템이 부족하다. 본 논문은 6년간의 볼리비아 뉴스 보도 코퍼스에 자연어 처리(NLP) 기법을 적용하여 시계열 분해(Prophet)와 통합하는 하이브리드 확률적 예측 시스템을 제시한다. 방법론은 도로 봉쇄가 실제로 발생하기 전 담화적 긴장 고조의 신호를 포착하기 위해 벡터 의미 임베딩(embedding)과 제로샷(zero-shot) 분류 모델을 사용한다. 1,762일에 걸쳐 확장형 워크포워드 검증(validation) 방식을 적용하고 7개의 예측 시점(H+1~H+7)에서 SARIMA와 LightGBM을 포함한 4개의 외부 벤치마크와 7개의 내부 구성을 비교했다. 결과는 하이브리드 구성(Prophet + NLP, C6)이 순수 통계 모델보다 지속적으로 우수한 성능을 보임을 보여주며, H+1에서 AUC-ROC 0.677을 달성하고 기준선(baseline) 시간 모델 대비 Brier Score를 10.9% 감소시켰다(0.220 vs. 0.247). 모든 평가 시점에서 통계적으로 유의한 오차 감소를 유지했다($p < 0.02$). 이 연구는 의미론적 뉴스 신호의 통합이 역사적 관성으로는 포착되지 않는 사회적 긴장의 정점을 탐지할 수 있음을 검증하며, 중요 운송 회랑의 리스크 관리를 위한 기술적 도구를 제공한다.

arXiv:2607.04832v1cs.CL공통 태그 Time Series Analysis, Word Embeddings

이탈리아 대중음악의 의미론적 균질화: 통시적 분석

Semantic Homogenization in Italian Popular Music: A Diachronic Analysis

최근 몇 년간 연구들은 스트리밍 플랫폼(특히 Spotify의 영어권 음악)에서 대중음악 가사의 의미론적 다양성이 감소하고 있음을 밝혀왔다. 본 연구는 이탈리아 최고 권위의 음악 경연 대회인 산레모 음악제(Sanremo Music Festival) 75회 전 부문 최종 후보 곡들의 가사를 분석 대상으로 삼아, 서로 다른 언어적·문화적 맥락에서도 유사한 경향이 나타나는지를 검토한다. 이 연구의 차별점은 의미론적 유사도의 시간적 변화를 추적하기 위한 유연하고 효율적인 방법론을 개발하고, 이를 다양한 데이터셋에 적용하여 유사한 현상을 연구할 수 있도록 한 데 있다. 전문(full-text), 구간(segment), 주제(topic), 단어 수준 분석을 결합하여 임베딩(embedding) 기법과 대규모 언어 모델(LLM)을 활용하는 이 접근법을 산레모 코퍼스에 적용한 결과, 의미론적 균질성이 점진적으로 증가하는 양상이 확인되었으며, 이는 선행 연구에서 식별된 글로벌 패턴과 일치한다. 이러한 연구 결과는 음악적 언어와 문화적 표현의 장기적 변화를 규명하는 데 있어 자연어 처리(NLP) 도구의 가치를 재확인시켜 준다.

arXiv:2610.10850v2cs.LG공통 태그 Time Series Analysis

유사한 예측 적합도와 상이한 잠재 동역학: 뇌 질환 맞춤형 모델에서 학습된 동역학적 구조 특성화

Similar Predictive Fit but Different Latent Dynamics: Characterizing Learned Dynamical Structure in Personalized Models of Brain Disorders

AI 모델이 임상 의사결정 및 맞춤형 치료로 나아감에 따라, 모델이 무엇을 학습하는지 이해하는 것은 단순한 예측 정확도를 넘어 매우 중요합니다. 본 연구에서는 예측 적합도가 유사하더라도 개인화된 잠재 동역학(latent dynamics)이 임상적으로 연관된 차이를 드러내는지 조사합니다. Temple University EEG Corpus(TUEG)로 사전학습된 경량 CNN-트랜스포머(Transformer) 뇌파(EEG) 파운데이션 모델을 사용하여 세그먼트 수준의 표현을 추출합니다. Temple University Epilepsy Corpus(TUEP)를 활용하여 표현들을 공유 잠재 상태 공간으로 매핑하고, 각 피험자에게 독립적으로 희소 다항 로지스틱 전이 분포(mLTD)를 적합하여 개인화된 전이 의존성 그래프 $W_n$을 얻습니다. 분석 대상은 $n{=}198$명의 피험자(뇌전증 99명 / 비뇌전증 99명)입니다. $k{=}4$에서 뇌전증 피험자는 훨씬 더 조밀한 학습된 의존성 구조를 나타내며($p{=}1.1\times10^{-7}$), $k{=}6$에서도 동일한 패턴을 보입니다(19.90 대 13.46; $p{=}5.2\times10^{-5}$). 그래프 유래 특징들은 5-겹 피험자별 교차 검증(cross-validation) 하에서 중간 수준의 집단 구별 능력을 제공합니다($k{=}4$에서 AUROC 0.68; $k{=}6$에서 0.65). 대조적으로, 홀드아웃 로그 가능도(log-likelihood)는 $k{=}4$에서 두 집단 간에 거의 동일하며($-0.992$ 대 $-0.991$; $p{=}0.95$), 다음 상태 예측 역시 유사하게 일치합니다(AUROC 0.855 대 0.861; $p{=}0.54$). 따라서 유사한 예측 적합도가 유사한 학습 동역학을 의미하지는 않습니다. 즉, 개인화된 모델이 학습한 내부 동역학 구조에는 상당한 차이가 있더라도, 두 집단은 대등한 수준으로 예측 가능할 수 있습니다. 이러한 차이는 개인화된 임상 모델에서 예측 성능과 함께 학습된 구조를 평가해야 할 필요성을 시사합니다.

arXiv:2607.12455v4cs.AI공통 태그 Time Series Analysis

EVOQUANT: 견고한 정량 트레이딩을 위한 자기 진화형 검증기 유도 전략 최적화

EVOQUANT: Self-Evolving Verifier-Guided Strategy Optimization for Robust Quantitative Trading

정량 전략 최적화는 여전히 대부분 수동으로 이루어지며, 도메인 전문가가 약한 신호를 식별하고, 리스크 관리 규칙을 조정하며, 반복적인 수정을 지속적으로 검증해야 한다. 대규모 언어 모델(LLM)은 이 과정을 가속할 수 있지만, 이를 직접 의존하여 트레이딩 전략을 재작성하면 환각(hallucination)으로 인한 수정, 전략 표류(strategy drift), 백테스트 과적합이 발생하는 경우가 많다. 우리는 정량 트레이딩에서의 전략 최적화를 위한 자기 진화형 검증기 유도(self-Evolving Verifier-guided) 프레임워크인 EVOQUANT를 제안한다. 우리 방법은 LLM을 활용해 성능 병목을 심층 진단하고, 의미적으로 통제된 후보 수정안을 생성하며, 다단계 검증 파이프라인을 통해 최적 전략을 선택하고, 최적화 경험을 재사용 가능한 지식으로 증류(distillation)하여 지속적인 자기 개선을 가능하게 한다. 우리는 대표 전략 일곱 개—A주 시장 네 개와 암호화폐 시장 세 개—를 사용해 방법을 평가한다. 실험 결과, 검증된 모든 전략에서 Sharpe ratio가 크게 향상됨을 보여준다: 평균 테스트 Sharpe는 -0.298에서 0.538로 증가했으며, 최고 성능 전략은 상대적으로 199% 개선을 달성했다. 더 엄격한 조건에서의 ablation 연구와 스트레스 테스트는 프레임워크의 효과와 견고함을 추가로 검증한다. 전반적으로, 본 연구는 정량 전략 최적화를 비용이 큰 수동 시행착오에서 자동화되고 검증 가능한 반복적 패러다임으로 전환하며, 금융 전략 연구에 대규모 언어 모델을 적용하는 새로운 경로를 제시한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.