今天看了一个 Paper:TradeExpert,https://arxiv.org/html/2411.00782v1
TradeExpert提出了一种基于专家混合模型(Mixture of Experts, MoE)的框架,将金融领域的四大数据源(新闻、市场数据、阿尔法因子和基本面数据)整合到四个专用LLMs中,每个模型分别解析其独特领域的数据。这些专用模型的输出通过一个“通用专家”模型进行整合,从而生成最终的预测或决策。此框架具有两种模式:
-
预测模式:预测个股价格波动。 -
排序模式:用于量化投资策略中的选股排序。
对比示意图
传统金融模型、基于LLM的金融模型以及基于MoE LLM的金融模型之间的差异。
关键优势
-
多模态数据整合:通过专用模型同时分析结构化数据(如市场指标)和非结构化数据(如新闻文本),克服了传统金融模型对数据源整合的局限性。 -
灵活性与拓展性:在不同市场情景中,该框架表现出超越传统基准的性能。 -
新数据集发布:研究还附带了一个大规模金融数据集,为模型的广泛验证提供了基础。
系统的实用价值
以年化50%的投资回报为背景,TradeExpert的成功与其以下特点密切相关:
-
高效利用LLMs:专门优化的语言模型能够从市场噪声中提取有效信号,辅助投资决策。 -
提升预测准确率:通过引入专用模型和通用整合机制,增强了对市场趋势的捕捉能力。 -
量化投资工具的集成:能直接用于选股排序,支持自动化的量化交易策略。
合作机构
-
DIRO (Department of Computer Science and Operations Research), Université de Montréal
-
加拿大蒙特利尔大学的计算机科学与运筹学系,专注于人工智能、优化和计算领域的研究。
Institut Courtois, Université de Montréal
-
蒙特利尔大学的Courtois研究所,支持跨学科研究,尤其在人工智能与自然科学交叉领域。
Mila – Quebec AI Institute
-
加拿大魁北克人工智能研究所(Mila),是世界领先的人工智能研究中心之一,聚焦深度学习、强化学习等前沿技术。
数据集
本研究收集了一个综合数据集,涵盖了以下四个主要数据来源,时间跨度为2020年1月1日至2023年12月31日,共计四年:
-
新闻:来自新闻文章的文本信息,涵盖与股票和市场状况相关的内容。
-
来源:包括Yahoo Finance、Reuters、InvestorPlace、GlobeNewswire、The Motley Fool等权威财经新闻源。 -
数据量:共计524,995篇与S&P 500股票相关的新闻文章。 -
平均字数:每篇文章约596.4字。 -
每篇新闻关联一组相关股票代码(tickers)。
市场数据:股票交易活动的历史数据,包括开盘价(Open)、最高价(High)、最低价(Low)、收盘价(Close)、交易量(Volume)。
-
内容:S&P 500股票的每日历史OHLCV(开盘价、最高价、最低价、收盘价、交易量)记录。 -
数据量:共计481,484条记录,提供了指定期间内股票交易活动的详细视图。
阿尔法因子:具有预测股票价格变动能力的定量指标和信号。
-
内容:包含108个技术指标和因子,以及它们的表达式,这些因子被认为对股票价格走势具有预测能力。
基本面数据:公司财务健康和经营表现的反映,包括财报电话会议记录和基本财务指标。
-
财报电话会议记录:来源于Seeking Alpha,每只股票在四年内提供了16次季度更新的记录。 -
财务指标:包括每股收益(EPS)、市盈率(P/E Ratio)、每股账面价值(BVPS)等。
TradExpert 框架
-
专家LLM架构:
-
所有专家LLM均基于LLaMA-2-7B骨干模型(Touvron et al. 2023b)。 -
通过LoRA(低秩自适应微调)机制(Hu et al. 2022)进行监督微调。
数据预处理:
-
在训练和微调之前,对原始数据集进行预处理,构建适合每个LLM的提示(prompts)、指令(instructions)和真实响应(ground-truth responses)。 -
表1展示了预处理数据集的整体描述。
管道描述:
-
四个专家LLM分别专注于处理新闻数据、市场数据、阿尔法因子和基本面数据。 -
通用专家LLM负责整合四个专家生成的摘要,以形成最终的股票预测或排序输出。
方法详述
1. 新闻分析专家(News Analyst)
-
功能:分析新闻文章文本,预测股票走势。 -
实现方式: -
使用思维链推理(CoT)方法,提供股票走势预测和新闻与预测的关联推理。 -
真实推理数据:通过OpenAI GPT-4 API预生成,结合实际股票走势与新闻内容。
Instruction: You are provided with a news article. Please predict how the stock will perform in the next
2. 市场分析专家(Market Analyst)
-
功能:分析历史OHLCV数据,预测股票走势。 -
关键技术: -
时间序列数据通过分块嵌入转换为小片段表示。 -
通过多头注意力机制和文本原型重新编程为嵌入。 -
时间序列数据被重新编程为文本表示,以解决LLM与连续时间序列数据不兼容的问题。 -
最终将嵌入与由TSFresh提取的统计信息描述结合,作为输入提示。
Instruction: You are provided with historical OHLCV data of the past 20 days and a description of its statistics. Please predict how the stock will perform the next
3. 阿尔法因子专家(Alpha Expert)
-
功能:处理基于表达式的阿尔法因子,分析股票走势。 -
实现方式: -
使用GPT-4生成因子表达式的自然语言描述。 -
每只股票的阿尔法因子通过OHLCV数据计算综合得分,并基于LightGBM模型选择Top-K因子。 -
输入提示包括阿尔法因子的描述及计算值。
4. 基本面分析专家(Fundamental Analyst)
-
功能:分析基本面数据(如财报电话会议记录与财务指标),按季度预测股票价格走势。 -
实现方式: -
微调过程类似于新闻分析专家。 -
输出包括以下五种分类的预测结果:“大幅上涨”、“小幅上涨”、“无变化”、“小幅下跌”、“大幅下跌”,并附加推理说明。
5. 通用专家(General Expert)
-
功能:总结四个专用专家的报告,执行以下两种模式: -
预测模式:用于股票走势预测,输出二元结果(涨/跌)。
Instruction: You are provided with a summarized report of the stock. Please predict whether the stock will rise or fall the next
-
排序模式:用于股票交易,比较两只股票的表现优劣。
-
采用基于松弛比较的排序算法(类似冒泡排序),对股票进行Top-K排名。 -
尽管其他排序算法具有更高效率,但由于LLM比较器的非传递性,较多的比较次数通常能带来更准确的排序结果。
Instruction: You are provided with summarized reports of two stocks. Please determine which stock will perform better the next
-
微调任务:通用专家针对股票走势预测和股票比较两个任务同时进行微调。
结果
股票走势预测(Stock Movement Prediction)
-
实验设置:
-
复现了所有基线模型或利用开源代码(SLOT除外,使用相关论文中的结果)。 -
为了公平对比,仅在TradExpert中包含News Analyst和Market Analyst模块,命名为TradExpert-NM。
结果概览:
-
ACL18、BigData22、CIKM18数据集以推文为主,文本较短。 -
S&P500数据集由新闻文章组成,文本更长,因此TradExpert-NM在该数据集上的提升尤为显著。 -
混合模型:SLOT在ACL18数据集上表现出色,特别是在准确率和MCC指标上,得益于其提出的全球市场指导机制。 -
LLMs:InternLM在自有的S&P500数据集上表现优异。 -
TradExpert-NM:基于专家混合LLM方法,表现优于其他模型,在所有数据集上均实现了最优性能(ACL18的MCC除外)。 -
数据特点:
股票交易模拟(Stock Trading Simulation)
-
实验设置:
-
回测使用了DOW 30(道琼斯30种成分股)作为股票池,是S&P500的子集。 -
TradExpert采用Top-K排序股票的“买入并持有”策略。 -
回测时间段与测试集一致:2023年1月1日至2023年12月31日。
结果概览:
-
以49.79%的年化收益率(AR)和9.95%的波动率(AV)显著领先。 -
夏普比率(5.01)显示出每单位风险对应的回报非常高。 -
传统模型:XGBoost表现较好,收益率较高,但波动率和最大回撤也较高,风险较大。 -
深度学习模型:整体优于传统模型,其中DeepTrader收益率和夏普比率最高。 -
TradExpert显现出一致的高收益优势。
消融研究
专家的影响
为了评估TradExpert框架中每个专家的有效性,我们创建了多个版本的TradExpert,每次移除一个特定的专家。通过比较这些修改版框架的性能,可以评估每个专家对TradExpert整体功能的影响。
-
市场分析专家(Market Analyst)和新闻分析专家(News Analyst)是最重要的,其缺失对年化收益率(AR)和波动率(AV)的影响最大。 -
阿尔法因子专家(Alpha Expert)的影响小于市场分析专家和新闻分析专家。 -
基本面分析专家(Fundamental Analyst)对日常交易指标影响最小,但为长期稳定性提供了重要支持,其缺失导致年化收益率和最大回撤(MD)的轻微变化。这表明TradExpert框架中各个专家的功能相互补充,共同实现最终决策和预测。
结构化数据推理的有效性
通过将TradExpert-MA与传统模型(如用于结构化数据的OHLCV和阿尔法因子)进行比较,评估其推理能力:
-
基线模型采用基于遗传编程的符号回归模型,预测次日收益((T+1))的RankIC。 -
TradExpert-MA仅使用阿尔法因子(移除新闻和基本面分析专家)进行比较,使用RankIC和RankICIR作为指标。 -
TradExpert-MA显著优于单独使用阿尔法因子的基线模型,显示了其对结构化数据的推理能力。
排序算法的选择
TradExpert中实现Top-K排名的排序算法基于松弛比较,其核心为LLM比较器。为验证这种方法,我们与其他高效排序算法(如QuickSort和BubbleSort)进行了对比:
-
如下图显示,尽管松弛排序的时间复杂度较高,但在非传递性LLM比较器的场景下,通过增加比较次数显著提高了排名的准确性。
本文来自Renee创业随笔,本文观点不代表 PmTemple 立场,转载请联系原作者。原文链接:https://mp.weixin.qq.com/s/0Wla-sRW6T8YRcypveZAig