arXiv:2411.03035

Blending Ensemble for Classification with Genetic-algorithm generated Alpha factors and Sentiments (GAS)

Quechen Yang

제출 2024-11-05

원문 초록

With the increasing maturity and expansion of the cryptocurrency market, understanding and predicting its price fluctuations has become an important issue in the field of financial engineering. This article introduces an innovative Genetic Algorithm-generated Alpha Sentiment (GAS) blending ensemble model specifically designed to predict Bitcoin market trends. The model integrates advanced ensemble learning methods, feature selection algorithms, and in-depth sentiment analysis to effectively capture the complexity and variability of daily Bitcoin trading data. The GAS framework combines 34 Alpha factors with 8 news economic sentiment factors to provide deep insights into Bitcoin price fluctuations by accurately analyzing market sentiment and technical indicators. The core of this study is using a stacked model (including LightGBM, XGBoost, and Random Forest Classifier) for trend prediction which demonstrates excellent performance in traditional buy-and-hold strategies. In addition, this article also explores the effectiveness of using genetic algorithms to automate alpha factor construction as well as enhancing predictive models through sentiment analysis. Experimental results show that the GAS model performs competitively in daily Bitcoin trend prediction especially when analyzing highly volatile financial assets with rich data.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.10615v1stat.ML공통 태그 feature selection, Ensemble Learning

JevForest: 예산 제약 특징 획득을 위한 경로 투표

JevForest: Path Voting for Budgeted Feature Acquisition

제한된 관측 예산 하에서 어떤 정보를 관측할지 선택하는 것은 예측의 핵심 문제입니다. 본 연구에서는 부트스트랩된 트리들의 경로 의존적 제안을 종합하고 전역 학습(training) 정보 이득으로 가중치를 부여하며 공유 마스크 분류기로 획득한 값으로부터 예측을 수행하는 특징(feature) 획득 정책인 JevForest를 연구합니다. 온라인 구현체는 이 정책에 의해 선택된 의미적 답변을 얻기 위해 Jev에 질의합니다. 균형 잡힌 소규모 홀드아웃 샘플에서 4개 질문 포레스트 획득 방식은 AG News($n=48$)에서 정적 이득 순위 매김의 $0.667$, 무작위 순서의 $0.583$에 비해 $0.729$의 정확도를 달성했습니다. TREC($n=24$)에서는 순위가 역전되어 포레스트 정확도가 $0.667$인 반면, 정적 이득 순위 매김과 무작위 순서는 각각 $0.750$ 및 $0.833$이었습니다. 8개 질문을 한 번의 배치(batch)로 모두 질의하는 방식은 4개의 순차적 포레스트 질의보다 측정된 비용과 지연 시간이 더 낮으면서도 더 높은 정확도를 산출했으며, 직접적인 Jev 분류(classification)는 더 적은 비용으로 배치 정확도와 일치했습니다. 오프라인 MiniBooNE 실험에서는 함께 변경되는 3개의 데이터 및 포레스트 시드에 걸쳐 10개 특징에서 $0.845\pm0.010$, 40개 특징에서 $0.885\pm0.008$의 정확도(평균 $\pm$ 표본 표준편차)를 보였습니다. 함께 제공되는 뉴턴 부스팅(Newton boosting) 구현체는 전체 특징에 대한 예비 합성 결과를 제공합니다. 이러한 탐색적 결과는 유효한 Jev 획득 워크플로를 확립하지만 경로 투표의 일반적인 이점을 뒷받침하지는 못하며, 그 가치는 과제, 예측기, 그리고 질문 예산과 실제 질의 비용 간의 구분에 따라 달라집니다.

arXiv:2609.27930v1stat.ME공통 태그 feature selection, Ensemble Learning

가우시안 프로세스 분할을 갖는 트리의 디리클레 프로세스 혼합: 사후 수축률을 갖춘 베이지안 비모수 프레임워크

Dirichlet Process Mixtures of Trees with Gaussian Process Splits: A Bayesian Nonparametric Framework with Posterior Contraction Rate

우리는 트리-매개변수 쌍에 대해 디리클레 프로세스(Dirichlet process) 사전분포를 두는 회귀 트리의 베이지안 비모수 혼합 모델을 제안한다. 이 모델은 데이터 기반으로 앙상블 크기를 선택할 수 있게 하며, CART, BART, 랜덤 포레스트, 부스팅을 하나로 통합한다. 각 종단 노드 내 가우시안 프로세스(GP)의 사후 예측분포에 기반한 새로운 분할 규칙은 유연하고 매끄러운 결정 경계를 생성한다. 주목할 만하게도, GROW/PRUNE 이동에 대한 Metropolis–Hastings 비율에서 GP 밀도가 정확히 상쇄되어 계산적 실현 가능성이 보장된다. 사후 예측 추론을 위한 정확한 깁스 샘플러(Gibbs sampler)는 무작위 트리 순회를 통해 불확실성을 전파한다. 병렬 MPI 구현은 독립적인 트리 업데이트를 여러 프로세서에 분산하여 적정 수준의 속도 향상을 달성한다. 우리는 항등식 $h(\Theta)=0$을 통해, 참 회귀 함수의 연속성만을 가정하고 모형 오지정(misspecification)을 허용하면서 헬링거(Hellinger) 거리에서 $n^{-1/4}$ 속도의 사후 일치성을 증명한다. Friedman 벤치마크에서의 시뮬레이션은 거의 명목 수준에 가까운 커버리지(가우시안 0.94, 코시 0.92)를 보였으며, 고차원 노이즈와 두꺼운 꼬리 분포에도 강건했고 BART와 배깅된 CART보다 우수한 성능을 보였다. QSAR 독성, 범죄, 리보플라빈, 밀 유전체학, 대기질 데이터에 대한 적용은 신뢰할 수 있는 신용구간과 자동 희소성을 확인해 준다. 이 DP 혼합 모델은 정직한 불확실성 정량화를 갖춘 도전적인 회귀 문제에 대해 원리에 기반하고 강건하며 이론적으로 뒷받침되는 대안을 제공한다.

arXiv:2609.27950v1cs.CR공통 태그 feature selection, Ensemble Learning

자원 제약 환경에서의 다중 클래스 악성코드 분류 성능 향상

Enhancing Multiclass Malware Classification in Resource-Constrained Environments

랜섬웨어, 스파이웨어, 트로이 목마 등과 같은 다중 클래스(multi-class) 악성코드 공격의 출현은 사이버 보안, 특히 사물인터넷(IoT) 기기와 같은 자원 제약 환경에 점점 더 심각한 위협이 되고 있다. 기존 머신러닝 모델들은 이진 악성코드 분류에서 거의 완벽한 정확도를 달성했으나, 악성코드 패밀리 및 개별 악성코드를 분류하는 데에는 미치지 못하고 있다. 또한, 다중 클래스 탐지는 일반적으로 높은 연산 능력을 필요로 하므로, 이러한 다중 클래스 악성코드 공격의 복잡성은 자원 제약 환경에서의 탐지에 상당한 어려움을 초래한다. 본 연구는 다중 클래스 악성코드 분류의 탐지 정확도를 향상시키는 동시에 자원 제약 기기에서 효율적으로 실행될 수 있는 경량 모델을 개발함으로써 이러한 격차를 해소한다. 본 논문에서는 데이터 균형을 위한 SMOTE 오버샘플링 및 SOM-US 언더샘플링 기법과 유전 알고리즘(Genetic Algorithm)을 통한 정교한 특징(feature) 선택을 특징으로 하는 LightGBM 분류기 기반의 강력하고 가벼운 머신러닝 모델을 제안한다. 이 모델은 동일한 데이터셋에서 개발된 기존 최고 수준(state-of-the-art)의 모델들보다 우수한 성능을 보여, 악성코드 패밀리 분류(4개 클래스) 및 개별 악성코드 유형 분류(16개 클래스)에서 각각 89.1%와 76%의 정확도를 기록하였다. 이를 통해 자원 제약 환경에서 분류 정확도와 연산 효율성 간의 균형을 유지한다. 나아가, 악성코드 패밀리 분류에서 91.2%, 개별 악성코드 분류에서 78.7%의 정확도를 달성한 Random Forest 분류기를 활용한 또 다른 모델을 제안하며, 기존 최고 수준의 모델 대비 정확도 측면에서 상당한 향상을 입증한다.

arXiv:2607.21817v1stat.ME공통 태그 feature selection, Ensemble Learning

희소하고 불규칙한 반응 궤적을 위한 종단 랜덤 포레스트

Longitudinal Random Forests for Sparse and Irregular Response Trajectories

종단 연구는 종종 희소하고 불규칙하며 시간 간격이 균등하지 않은 시점에서 데이터를 수집한다. 이러한 이질성은 종종 대상자별 공변량에 의해 유발되지만, 기존 방법들은 스칼라 종점 값으로 제한되어 있어 근본적인 반응 궤적을 완전히 간과해 왔다. 우리는 적응형 노드별 종단 궤적 추정을 갖춘 트리 기반 앙상블 기계학습을 활용하는 새로운 종단 랜덤 포레스트(Longitudinal Random Forest, LRF) 프레임워크를 제안한다. LRF 프레임워크는 다섯 가지 방법론적 기여를 한다. 각 대상자의 개별 반응 궤적을 포착하면서 동시에 노드 내 상관, 노드 간 이질성, 비선형 및 상호작용적 공변량 효과를 수용한다. 크기 가중 페널티를 반영하면서 궤적 분리를 극대화하는 새로운 궤적 기반 분할 기준을 도입한다. LRF-PACE(Principal Analysis by Conditional Expectation)와 LRF-adaptiveLMM(적응형 선형 혼합효과 모델)이라는 두 가지 변형을 제공하며, 각각 비모수적 및 준모수적 노드별 스무더를 사용하면서 공변량 효과를 데이터 기반 방식으로 학습한다. 고전적인 궤적 기반 순열 변수 중요도 측정(PVIM)과 새로 제안한 유한 차 상호작용 빈도 카운트를 모두 사용하여 공변량에 대한 포괄적 해석을 제공하며, 새로운 대상자에 대한 전체 궤적 예측뿐만 아니라 기존 대상자에 대한 미래 궤적 예측도 수행한다. 광범위한 시뮬레이션 연구를 통해 LRF가 심각한 희소성 하에서도 여러 경쟁 방법들보다 우수한 성능을 달성함을 보여준다. LRF 프레임워크의 실용적 의의는 다섯 가지 중요한 임상 질문에 답할 수 있는 능력에 있다.

arXiv:2607.11120v1cs.CV공통 태그 Sentiment Analysis, Ensemble Learning

비디오에서의 양가성 및 머뭇거림 인식을 위한 단순 특징과 정직한 캘리브레이션

Simple Features and Honest Calibration for Ambivalence and Hesitancy Recognition in Video

우리는 ABAW 2026 BAH 챌린지에서 양가성 및 머뭇거림(A/H) 인식 문제를 다룬다: 짧은 인터뷰 영상이 주어졌을 때, 해당 인물이 A/H 징후를 보이는지 예측한다. 우리 시스템은 감정 특화 텍스트, 오디오, 시각적 표현을 소수의 해석 가능한 언어적 머뭇거림 단서와 결합하며, 이를 감정 마커 융합(Affective Marker Fusion, AMF)이라 부르는 신뢰도 게이트로 융합하고, 고정된 결정 임계값에서의 단순 AP 가중 앙상블로 마무리한다. 또한 \emph{ASR 삭제 시간}을 제안한다: 음성 인식기는 전사문에서 채움말과 머뭇거림 휴지를 삭제하지만, 청크 타임스탬프에는 해당 이벤트에 소요된 시간이 보존되며, 이 간격으로 구성한 16개의 특징은 우리가 측정한 가장 강력하고 독립적인 비언어적 채널을 형성한다(AP $0.718$, 다른 모든 구성원과의 상관관계 $0.11$--$0.36$). 통제된 실험을 통해 세 가지를 발견했다: 교차 모달 충돌 설계는 BAH에서 일관된 성능 향상을 제공하지 않는다; 언어는 단연 가장 강력한 채널이며 감정 특화 오디오가 유용한 두 번째 채널이다; 그리고 캘리브레이션이 아키텍처보다 더 중요하다. 소규모 검증 분할에 앙상블 가중치와 임계값을 맞추면 과적합이 발생한다: 검증에서 매크로 F1 $0.741$을 기록하지만 미공개 테스트 세트에서는 $0.690$에 그친다. 반면 고정 임계값에서의 AP 가중은 테스트에서 $\mathbf{0.731}$에 도달한다.

arXiv:2607.10077v1cs.LG공통 태그 feature selection, Ensemble Learning

TabLoRA: 대규모 표 형식 데이터를 위한 매개변수 효율적 저랭크 앙상블 학습

TabLoRA: Parameter-Efficient Low-Rank Ensemble Learning for Large-Scale Tabular Data

표 형식 데이터 학습은 여전히 그래디언트 부스팅 결정 트리(GBDT)가 지배하고 있으며, 최근 심층 학습 접근법들이 점점 경쟁력을 갖추고 있다. 그러나 심층 표 형식 모델을 대규모 데이터셋에 적용하는 것은 여전히 어려운 과제로, 대규모 샘플 크기, 높은 특징 차원수, 또는 다수의 타깃 클래스가 상당한 계산 비용을 초래할 수 있다. 우리는 대규모 표 형식 데이터 학습을 위한 매개변수 효율적인 학습 가능 신경망 앙상블인 TabLoRA를 제안한다. TabLoRA는 완전히 독립적인 앙상블 백본을 사용하는 대신, 예측기들 간에 공통 백본을 공유하고 예측기별 저랭크 적응을 도입함으로써, 전체 매개변수 복제 없이 앙상블 방식의 예측을 가능하게 한다. 벤치마크 전반에 걸쳐, TabLoRA는 동일한 리소스 제약 하에서 GBDT 방법 및 최근 심층 학습 기반 모델들과 비교하여 예측 성능과 실용적 효율성 간의 유리한 균형을 달성한다. 메모리 분석 및 절제 연구(ablation study)는 제안된 설계가 전체 앙상블의 이점을 상당 부분 유지하면서 신경망 앙상블 학습의 실현 가능성을 향상시킴을 추가로 보여준다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.