Learning the Market: Sentiment-Based Ensemble Trading Agents
원문 초록
We propose and study the integration of sentiment analysis and deep reinforcement learning ensemble algorithms for stock trading by evaluating strategies capable of dynamically altering their active agent given the concurrent market environment. In particular, we design a simple-yet-effective method for extracting financial sentiment and combine this with improvements on existing trading agents, resulting in a strategy that effectively considers both qualitative market factors and quantitative stock data. We show that our approach results in a strategy that is profitable, robust, and risk-minimal - outperforming the traditional ensemble strategy as well as single agent algorithms and market metrics. Our findings suggest that the conventional practice of switching and reevaluating agents in ensemble every fixed-number of months is sub-optimal, and that a dynamic sentiment-based framework greatly unlocks additional performance. Furthermore, as we have designed our algorithm with simplicity and efficiency in mind, we hypothesize that the transition of our method from historical evaluation towards real-time trading with live data to be relatively simple.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
ADHD 또는 ASD를 자가 보고한 트위터 사용자의 DSM-5 우울 증상 언어에 대한 인구 수준 프로파일링: 자연어 처리와 통계 분석을 활용한 탐색적 연구
Population-Level Profiling of DSM-5 Depressive Symptom Language Among Twitter Users With Self-Reported ADHD or ASD: Exploratory Study Using Natural Language Processing and Statistical Analysis
우울증은 주의력결핍 과잉행동장애(ADHD) 및 자폐스펙트럼장애(ASD)와 자주 동반되지만, 이러한 상태를 가진 사람들이 우울 증상을 어떻게 표현하는지는 충분히 연구되지 않았다. 본 연구는 ADHD 또는 ASD를 자가 보고한 트위터 사용자들이 DSM-5의 아홉 가지 우울 증상과 관련된 언어에서 차이를 보이는지 조사하였다. 792명의 사용자가 작성한 트윗 1,282,437건(2020-2021년)을 분석하였다. 트윗은 제로샷 분류기와 로컬에서 실행한 대규모 언어 모델(Qwen3-8B)을 결합하여 우울 관련성을 선별하였고, ReDSM5 코퍼스로 미세 조정한 MentalRoBERTa를 통해 아홉 가지 증상으로 분류하였다. 파이프라인은 500건씩의 층화 표본 두 개로 조정하였으며, 이 중 150건의 트윗에 대해 사람이 판정한 레이블과 비교하여 내부 검증하였다. 사용자 수준 프로파일(582명)은 L1 규제 로지스틱 회귀, 중첩 교차 검증, 부트스트랩 안정성 분석, 증상별 효과 크기, 동시 발생 분석으로 비교하였다. 자연어 추론 필터를 사용한 기준 파이프라인의 정밀도는 0.09-0.13에 그친 반면, 최종 파이프라인은 정밀도 0.48-0.59, F1 0.55-0.68에 도달하였다. 집단 간 판별력은 보통 수준이었다(중첩 ROC-AUC 0.60-0.62). 자살 사고 관련 언어는 ASD 사용자에게서, 인지 문제 관련 언어는 ADHD 사용자에게서 더 빈번하였으며, 두 차이 모두 크기는 작았으나 민감도 분석 전반에서 견고하였다. 이러한 탐색적 결과는 우울 증상이 온라인에서 어떻게 표현되는지를 기술한 것이며, 임상적 유병률을 나타내는 것은 아니다.
CPM-MultiAgent: 의료 대화에서 환자 감정의 동적 변화를 시뮬레이션하기 위한 CPM 기반 평가(appraisal) 프레임워크
CPM-MultiAgent: A CPM-Grounded Appraisal Framework for Simulating Dynamic Patient Emotional Evolution in Healthcare Dialogue
대규모 언어 모델(LLM)은 학습자가 임상 정보, 우려, 감정적 반응에 대응하는 연습을 하는 의료 커뮤니케이션 교육을 위한 환자 시뮬레이션을 가능하게 한다. 그러나 기존의 환자 시뮬레이션 및 정서 대화 시스템은 환자의 감정을 정적인 속성으로 표현하거나 감정 인식과 공감적 응답 생성에 초점을 맞추는 경우가 많다. 이들은 의료 전문가의 커뮤니케이션에 반응하여 시뮬레이션된 환자의 감정 상태가 어떻게 변화하는지를 모델링하는 데 제한적인 지원만을 제공한다. 환자 감정의 변화는 학습자가 대화 턴 전반에 걸쳐 인식하고 대응해야 하는 상호작용적 피드백이 된다. 본 연구는 감정을 사건 평가(appraisal)에 의해 형성되는 동적 과정으로 설명하는 심리학 이론인 구성요소 과정 모델(CPM)을 활용한다. 의료 커뮤니케이션 교육에서 동적 환자 감정 시뮬레이션을 위한 CPM 기반 멀티 에이전트 프레임워크인 CPM-MultiAgent를 제안한다. 이 프레임워크는 의학 문헌과 전문가 의견을 반영한 감정 분류 체계를 사용하며, 환자의 프로필, 임상 맥락, 이전 감정 상태를 고려하여 의료 관련 트리거 식별, 구조화된 CPM 평가, 감정 상태 통합을 통해 감정 상태를 갱신한다. 학생 주도 대화와 통제된 트리거 사례를 통해 프레임워크를 평가하며, 간호 전문가 평가, LLM 판정자 비교, 구성요소 제거 실험, 백본 점검, 학생 피드백을 결합하였다.
학습된 불확실성은 언제 신뢰할 수 있는가? 분포적 강화학습에 대한 감사
When Can Learned Uncertainty Be Trusted? An Audit of Distributional Reinforcement Learning
많은 학습된 예측 모델은 불확실성을 확률분포로 표현하며, 플래너와 정책은 이 분포를 이용해 위험을 판단한다. 그러나 모델이 분포를 출력한다는 사실만으로는 그 분포가 의사결정과 관련된 환경의 불확실성을 포착하는지 알 수 없다. 본 연구는 이 문제를 분포적 강화학습에서 다루며, 여기서 학습된 반환 분포 P_{\theta}(Z | s,a)는 스냅샷-재시작 몬테카를로로 추정한 환경 기반 분포 P_env(Z | s,a)와 직접 비교될 수 있다. 우리의 감사는 먼저 상위 두 행동 간의 초과 Wasserstein 격차(1차 확률 지배가 위배되는 질량과 같음)를 이용하여 위험 민감 사용자가 근거로 삼을 주장들을 선별한다. 이후 각 주장은 순열 귀무분포, 부트스트랩 반박, FDR 통제를 사용하여 실제 정답과 대조하여 검증된다. MinAtar에서 QR-DQN, C51, IQN(33회 실행) 전반에 걸쳐, 가장 강하게 주장된 위험 상충 관계의 40-95%가 95% 신뢰도로 반박되었고, 그 배치는 정답을 모르는 배치와 통계적으로 구별되지 않았으며, 확인될 수 있는 것은 거의 없었다. 사전 학습된 전체 Atari QR-DQN에서도 유사한 양상이 나타났다. 크기를 아는 양성 대조군에서는 동일한 감사가 실제 주장의 96-100%를 확인하여(상관 0.89-0.92), 실제 위험이 존재할 때 이를 탐지할 수 있다. 가장 많이 표시된 상태에서 학습된 CVaR 조언에 따라 행동하면 그 결과는 유익한 경우부터 우연보다 유의하게 나쁜 경우까지 다양했다. 앙상블, 위험 민감 학습, 재보정은 문제를 해결하지 못하며, 재보정 실험은 학습된 분산이 실제 위험에 관해 쓸 만한 정보를 갖지 않음을 시사한다. 이러한 결과에 따라, 학습된 세계 모델의 추정을 포함한 불확실성 추정은 그것이 사용되는 의사결정 지점에서 실현된 결과와 대조하여 검증되어야 한다고 제안한다.
보상 인플레이션: 강화학습을 위한 건강한 자극
Reward Inflation: A Healthy Stimulus for Reinforcement Learning
보상은 강화 학습(RL)의 주된 학습 신호이다. 그러나 보상의 크기는 보통 학습 내내 고정되는 반면, 그 시간적 조절은 아직 충분히 탐구되지 않았다. 본 논문은 학습이 진행되는 동안 보상을 점진적으로 스케일링하는 보상 인플레이션(reward inflation)을 제안하고, 이것이 RL에 건강한 자극으로 작용할 수 있음을 보인다. 이론적으로 보상 인플레이션은 정책 갱신 중 최근 전이에 더 큰 가중을 두는 암묵적 최신성 가중을 유도하여 더 빠른 적응을 가능하게 한다. 또한 보상 인플레이션이 정책이 포화될 때 그래디언트 신호를 유지함으로써 휴면 뉴런의 출현을 억제함을 보이며, 이는 가소성 보존에 기여할 가능성을 시사한다. ALE 게임과 MuJoCo 과제에 대한 실험 결과는 이러한 발견을 뒷받침하며, 적절한 수준의 보상 인플레이션이 광범위한 과제에 이롭다는 것을 보여 준다. 마지막으로 인플레이션 수준을 즉석에서 조정하는 적응형 변형인 Fed를 도입하며, 이것이 고정된 인플레이션보다 자주 성능을 향상시킨다는 것을 확인한다. 소스 코드는 https://github.com/northadventure/RewardInflation 에서 이용할 수 있다.
로봇 행동을 위한 fNIRS 기반 오프라인 강화학습 접근법
An offline approach to fNIRS-guided reinforcement learning for robot behavior
인간 참여형 강화학습은 로봇 행동을 사용자 선호에 맞게 학습, 미세조정, 정렬하는 데 널리 쓰이는 접근법이 되었다. 본 논문은 기능적 근적외선 분광법(fNIRS)을 통한 뇌 신호를 이용하여 시뮬레이션에서 로봇 학습을 조절하는 것의 실현 가능성을 탐구한다. 수동적(관찰적) 상호작용 과제와 능동적(시연적) 상호작용 과제로 학습된 에이전트를 비교하고, 대체보다 매개변수 증강에 초점을 맞추어 신경 신호로 RL 알고리즘을 강화하는 여러 방법을 시험한다. 또한 모델의 세분성과 잡음이 에이전트 학습에 미치는 영향을 조사한다. 결과는 이 프레임워크가 효과적임을 보여 준다. 신경 신호는 궤적 우선순위와 상태-행동 q-타깃을 증강할 때 학습을 개선한다. 아울러 이 프레임워크는 오프라인 데이터로부터 성공적으로 학습하므로, 실시간 BCI 설정이 비현실적이거나 제한된 데이터만 이용 가능한 환경에 실용적인 대안을 제공한다.
베이지안 내쉬를 넘어서: 비대칭 정보 하의 적대적 팀 게임을 위한 미니맥스-후회 균형 학습
Beyond Bayesian Nash: Learning Minimax-Regret Equilibria for Adversarial Team Games under Asymmetric Information
적대적 경로 탐색, 목표 탐색, 그래프 상의 도달 가능성 게임과 같이 비대칭 정보가 존재하는 적대적 팀 게임(ATG)은 숨겨진 목표 깃발과 같은 은닉된 상대 유형과 기만에 강건한 전략을 요구한다. 비대칭 정보 하에서 기만은 전지적 상대가 자연(Nature)과 공모하여 관찰된 유형에 따라 행동을 조정할 수 있도록 유형 분포를 전략적으로 이동시키는 것으로 간주된다. 베이지안 내시 균형(BNE)과 같은 기존의 위험 중립 해 개념은 분포 이동에 민감하며, 분포적으로 강건한 접근법은 미리 정해진 모호성 집합 내에서만 보장을 제공한다. 이러한 한계를 해결하기 위해 본 연구는 미니맥스 후회 추론의 분포 비의존적 강건성과 명목 유형 분포의 확률적 정보를 결합한 새로운 균형 개념인 확률적 강건 미니맥스 후회 균형(PR-MRE)을 도입한다. PR-MRE는 유형 공간의 고신뢰도 부분집합에 대해 최악의 경우 후회를 최소화하여, 확률 질량의 전략적 재분배에 대한 보호를 제공하면서 완전히 분포 비의존적인 접근법의 보수성을 피한다. 유한 정규형 베이지안 게임에서 근사 PR-MRE 계산을 강건 쌍선형 계획법으로 정식화할 수 있음을 보이고, 계산 가능한 반정부호 완화를 유도한다. 이어서 이 완화를 강건 이중 오라클 프레임워크 내의 새로운 메타 솔버인 PRMRE-PSRO로 적응시켜, 심층 강화학습 최선 응답을 통해 근사 PR-MRE 전략을 집단 기반으로 학습할 수 있게 한다. 그래프 구조의 적대적 팀 게임에서의 실험은 PR-MRE가 위험 중립 베이지안 내시 균형 해에 비해 숨겨진 유형 전반에서 최악의 경우 성능이 크게 향상된 전략을 발견하며, 그 결과 전략적 분포 이동 하에서 더 강건한 행동을 보임을 입증한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.