(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211060458.7 (22)申请日 2022.08.31 (71)申请人 上海电享信息科技有限公司 地址 200000 上海市徐汇区虹桥路3 33号2 幢162室 (72)发明人 陈越　钱磊　朱卓敏　 (74)专利代理 机构 苏州创元专利商标事务所有 限公司 3210 3 专利代理师 吴芳 (51)Int.Cl. G06Q 10/04(2012.01) G06Q 30/02(2012.01) G06Q 50/06(2012.01) G06N 3/08(2006.01) G06N 3/04(2006.01)G06F 17/16(2006.01) (54)发明名称 稀疏自注意力机制的电力价格预测方法及 模型训练方法 (57)摘要 本发明公开了一种稀疏自注意力机制的电 力价格预测方法及模型训练方法， 训练方法包 括： 获取电力价格历史数据； 对电力价格历史数 据构建多项特征工程， 对各项特征工程得到的向 量数据进行相加操作， 得到矩阵数据； 根据构建 特征工程后的矩阵数据， 获取多个训练样本， 训 练样本包括历史时间点、 电力价格和标签， 其中， 标签为后继时间点的电力价格， 后继时间点与历 史时间点之间的时间间隔为根据预测 需求而预 设的时间颗粒度； 构建稀疏自注意力机制的 transformer网络的稀疏自注意力机制模块， 包 括： 将构建特征工程后的矩阵数据线性变换为矩 阵， 并计算其attention结果； 利用transformer 网络对训练样本进行训练， 得到电力价格预测模 型。 权利要求书2页 说明书5页 附图2页 CN 115470980 A 2022.12.13 CN 115470980 A 1.一种基于稀疏自注意力机制的电力价格预测方法， 其特 征在于， 包括以下步骤： 获取目标 预测时段之前的当前时段的电力价格数据； 将所述当前时段的电力价格数据输入预 先训练好的电力价格预测模型； 所述电力价格预测模型输出 所述目标 预测时段内的电力价格预测结果； 其中， 所述电力价格预测模型通过以下步骤获取： 获取电力价格历史数据； 对所述电力价格历史数据构建多项特征工程， 每项特征工程将所述电力价格历史数据 转换为向量数据， 并对各项特征工程得到的向量数据进行相加操作， 相加后的向量数据 组 成构建特 征工程后的矩阵数据； 根据所述构建特征工程后的矩阵数据， 获取多个训练样本， 所述训练样本包括历史时 间点、 电力价格和标签， 其中， 所述标签为后继时间点的电力价格， 所述后继时间点与所述 历史时间点之间的时间 间隔为根据预测需求而预设的时间颗粒度； 构建稀疏自注意力机制的transformer网络的稀疏自注意力机制模块， 包括： 将所述构 建特征工程后的矩阵数据通过线性变换分别转换为Q、 K、 V矩阵， 并计算关于Q、 K、 V矩阵的 attention结果； 利用所述稀疏自注意力机制的transformer网络对所述训练样本进行训练， 得到电力 价格预测模型。 2.根据权利要求1所述的基于稀疏自注意力 机制的电力价格预测方法， 其特征在于， 其 中一项特 征工程为金融特 征工程， 通过以下 方式构建所述金融特 征工程： 引入金融量化交易中的macd、 kdj、 MA指标中的一种或多种， 作为辅助金融特征加入到 所述电力价格历史数据中。 3.根据权利要求1所述的基于稀疏自注意力 机制的电力价格预测方法， 其特征在于， 其 中一项特 征工程为传统特 征工程， 通过以下 方式构建所述传统特 征工程： 所述电力价格历史数据包括价格字段和其他多个字段， 构建其他字段与价格字段的相 关性矩阵， 得到各个其他字段对应的皮尔逊相关系 数， 将小于预设相关系 数阈值的皮尔逊 相关系数对应的字段舍弃； 和/或， 计算各个字段对应的方差， 将方差计算结果小于预设方 差阈值的对应字段舍弃。 4.根据权利要求1所述的基于稀疏自注意力 机制的电力价格预测方法， 其特征在于， 其 中一项特 征工程为全局时间戳工程， 通过以下 方式构建所述全局时间戳工程： 确定时间戳的多个维度， 其包括分钟、 小时、 日、 周、 月、 节假日维度中的部分或全部； 将多个维度的时间戳映射成向量， 并进行相加操作。 5.根据权利要求1所述的基于稀疏自注意力 机制的电力价格预测方法， 其特征在于， 为 每个query随机采样部分的key， 利用以下公式计算每 个query的稀疏性得分： 其中， softmax()为将数值向量转换 为概率分布向量的函数， KT为K矩阵的转置矩阵， dk为K矩阵的维度； 选取稀疏性得分最高的N个 query， 计算N个 query和随机采样的key的点积结果， 得到所 述关于Q、 K、 V 矩阵的at tention结果。权　利　要　求　书 1/2 页 2 CN 115470980 A 26.根据权利要求1所述的基于稀疏自注意力 机制的电力价格预测方法， 其特征在于， 预 设不同的时间颗粒度， 对应训练得到不同的电力价格预测模型。 7.根据权利要求1所述的基于稀疏自注意力 机制的电力价格预测方法， 其特征在于， 所 述预设的时间颗粒度与目标 预测时段的时长相等。 8.根据权利要求1所述的基于稀疏自注意力 机制的电力价格预测方法， 其特征在于， 所 述目标预测时段的时长与所述当前时段的时长相等。 9.根据权利要求1所述的基于稀疏自注意力 机制的电力价格预测方法， 其特征在于， 对 所述电力价格历史数据构建多项特征工程之前， 对所述电力价格历史数据进行清洗操作， 所述清洗操作包括去除异常值和/或去除重复值， 以完成清洗操作的电力价格历史数据作 为构建特 征工程的源数据。 10.一种基于稀疏自注意力机制的电力价格预测模型训练方法， 其特征在于， 包括以下 步骤： 获取电力价格历史数据； 对所述电力价格历史数据构建多项特征工程， 每项特征工程将所述电力价格历史数据 转换为向量数据， 并对各项特征工程得到的向量数据进行相加操作， 相加后的向量数据 组 成构建特 征工程后的矩阵数据； 根据所述构建特征工程后的矩阵数据， 获取多个训练样本， 所述训练样本包括历史时 间点、 电力价格和标签， 其中， 所述标签为后继时间点的电力价格， 所述后继时间点与所述 历史时间点之间的时间 间隔为根据预测需求而预设的时间颗粒度； 构建稀疏自注意力机制的transformer网络的稀疏自注意力机制模块， 包括： 将所述构 建特征工程后的矩阵数据通过线性变换分别转换为Q、 K、 V矩阵， 并计算关于Q、 K、 V矩阵的 attention结果； 利用所述稀疏自注意力机制的transformer网络对所述训练样本进行训练， 得到电力 价格预测模型。权　利　要　求　书 2/2 页 3 CN 115470980 A 3