(19)国家知识产权局
(12)发明 专利申请
(10)申请公布号
(43)申请公布日
(21)申请 号 202210821514.8
(22)申请日 2022.07.12
(71)申请人 杭州卓壹网络技 术有限公司
地址 311100 浙江省杭州市滨江区西兴街
道江淑路26 0号11034室
(72)发明人 茹康哲
(51)Int.Cl.
G06F 9/50(2006.01)
G06K 9/62(2022.01)
G06N 3/04(2006.01)
G06N 3/08(2006.01)
(54)发明名称
基于云计算节点关联的数据存储动态均衡
方法及其系统
(57)摘要
本申请云计算节 点的数据存储 领域, 其具体
地公开了一种基于云计算节点关联的数据存储
动态均衡方法及其系统, 其通过基于上下文的编
码器模型来对所述输入参数进行处理以获得全
局性的参数关联信息, 并利用卷积神经网络模型
来从所述各节点之间的并发访问文件数目中提
取出所述各节点之间的并发访问文件数目的高
维关联特征, 进一步使用图神经网络来生成包含
特征信息与不规则的拓扑结构信息的表征矩阵,
并在后续对分类器进行训练的过程中使用所述
两个分类损失函数值与所述交叉熵 值, 以提高对
于块结构的训练度, 从而提高分类器的回归准确
性。 这样, 可 以对各个节点的数据存储的负载是
否均衡进行准确地判断, 进而解决负载不均衡导
致的问题。
权利要求书4页 说明书12页 附图5页
CN 115185689 A
2022.10.14
CN 115185689 A
1.一种基于云计算节点关联的数据存 储动态均衡方法, 其特 征在于, 包括:
训练阶段, 包括:
获取云计算系统中各个节点的多个负载 数据;
将各个所述节点的多个负载数据通过包含嵌入单元的基于上下文的编码器模型以获
得各个所述节点的参数 特征向量的序列;
将各个所述节点的所述参数特征向量的序列中的参数特征向量拼接为各个所述节点
的节点特 征向量, 并将各个所述节点的节点特 征向量二维排列为节点特 征矩阵;
基于各个所述节点之间的并发访问文件数目构建用于表示访问邻 接关系的邻 接矩阵,
其中, 所述邻接矩阵中各个位置的特 征值表示对应的两个节点之间的并发访问文件数目;
将所述邻接矩阵通过作为特 征提取器的卷积神经网络以获得邻接特 征矩阵;
将所述邻 接特征矩阵和所述节点特征矩阵输入图神经网络以获得特征图表示矩阵, 所
述图神经网络用于通过可学习的神经网络参数来生成包含特征信息与不规则的拓扑结构
信息的表征矩阵;
将各个所述节点的节点特征向量与所述特征图进行矩阵相乘以获得各个所述节点的
分类特征向量;
将各个所述节点的分类特 征向量进行二维拼接为分类特 征矩阵;
将所述分类特 征矩阵通过分类 器以获得第一分类损失函数值;
将各个所述节点的分类特 征向量通过所述分类 器以获得第二分类损失函数值;
基于所述第 一分类损失函数值、 所述第 二分类损失函数值和每一个所述参数特征向量
与所述第二分类损失函数值之间的交叉熵值对所述分类器进行基于对应于每项负载数据
的块结构的训练; 以及
推断阶段, 包括:
获取云计算系统中各个节点的多个负载 数据;
将各个所述节点的多个负载数据通过包含嵌入单元的基于上下文的编码器模型以获
得各个所述节点的参数 特征向量的序列;
将各个所述节点的所述参数特征向量的序列中的参数特征向量拼接为各个所述节点
的节点特 征向量, 并将各个所述节点的节点特 征向量二维排列为节点特 征矩阵;
基于各个所述节点之间的并发访问文件数目构建用于表示访问邻 接关系的邻 接矩阵,
其中, 所述邻接矩阵中各个位置的特 征值表示对应的两个节点之间的并发访问文件数目;
将所述邻接矩阵通过作为特 征提取器的卷积神经网络以获得邻接特 征矩阵;
将所述邻 接特征矩阵和所述节点特征矩阵输入图神经网络以获得特征图表示矩阵, 所
述图神经网络用于通过可学习的神经网络参数来生成包含特征信息与不规则的拓扑结构
信息的表征矩阵;
将各个所述节点的节点特征向量与所述特征图进行矩阵相乘以获得各个所述节点的
分类特征向量;
将各个所述节点的分类特 征向量进行二维拼接为分类特 征矩阵; 和
将所述分类特征矩阵通过分类器以获得分类结果, 所述分类结果用于表示节点的数据
存储的负载 是否均衡。
2.根据权利要求1所述的基于云计算节点关联的数据存储动态均衡方法, 将各个所述权 利 要 求 书 1/4 页
2
CN 115185689 A
2节点的多个负载数据通过包含嵌入单元的基于上下文的编码器模型以获得各个所述节点
的参数特征向量的序列, 包括:
将各个所述节点的各项负载数据通过所述编码器模型的嵌入单元以将各项负载数据
分别转化为输入向量;
将各个所述节点的多个输入向量输入所述编码器模型的转换器以获得各个所述节点
的参数特征向量的序列。
3.根据权利要求2所述的基于云计算节点关联的数据存储动态均衡方法, 其中, 将所述
邻接矩阵通过作为特 征提取器的卷积神经网络以获得邻接特 征矩阵, 包括:
所述卷积神经网络基于过滤器在各层的正向传递的过程中对输入数据进行沿通道维
度的均值池化以获得 所述邻接特 征矩阵。
4.根据权利要求3所述的基于云计算节点关联的数据存储动态均衡方法, 其中, 将所述
分类特征矩阵通过分类 器以获得第一分类损失函数值, 包括:
所述分类器以如下公式对所述分类特征矩阵进行处理以获得分类结果, 其中, 所述公
式为: Softmax{(Wn,Bn):…:(W1,B1)|Project(F)}, 其中Project(F)表示将所述分类特征矩
阵投影为向量, W1至Wn为各层全连接层的权重矩阵, B1至Bn表示各层全连接层的偏置矩阵;
以及
计算所述分类结果与真实值之间的交叉熵值作为所述第一分类损失函数值。
5.根据权利要求4所述的基于云计算节点关联的数据存储动态均衡方法, 其中, 基于所
述第一分类损失函数值、 所述第二分类损失函数值和每一个所述参数特征向量与所述第二
分类损失函数值之间的交叉熵值对所述分类器进行基于对应于每项负载数据的块结构的
训练, 包括:
在每一轮迭代周期中, 计算所述第 二分类损失函数值与每一个所述参数特征向量之间
的交叉熵值, 以及, 计算所述交叉熵 值、 所述第一分类损失函数值和所述第二分类损失函数
值的加权和作为损失函数值来更新所述分类器的参数, 通过这样的方式, 基于分类器的各
节点参数之间的超过阈值的预定相似表示形式来强化分类器的对应于每项负载数据的块
结构的训练。
6.根据权利要求5所述的基于云计算节点关联的数据存 储动态均衡方法, 进一 步包括:
计算每一个所述参数特征向量与所述分类特征向量之间的交叉熵值的均值来表示各
个所述节点的分类特 征向量与各个所述 参数特征向量之间的一 致性程度值;
基于所述一致性程度值与 预设阈值之间的比较, 来对所述分类器的各层全连接层的权
重矩阵进行相应的列修剪 。
7.根据权利要求6所述的基于云计算节点关联的数据存储动态均衡方法, 其中, 基于所
述一致性程度值与预设阈值之 间的比较, 来对 所述分类器的各层全连接层的权重矩阵进 行
相应的列修剪, 包括:
将所述权 重矩阵中对应列的权值 修改为0。
8.一种基于云计算节点关联的数据存 储动态均衡系统, 其特 征在于, 包括:
训练模块, 包括:
负载数据获取 单元, 用于获取云计算系统中各个节点的多个负载 数据;
编码单元, 用于将各个所述负载数据获取单元获得的所述节点的多个负载数据通过包权 利 要 求 书 2/4 页
3
CN 115185689 A
3
专利 基于云计算节点关联的数据存储动态均衡方法及其系统
文档预览
中文文档
22 页
50 下载
1000 浏览
0 评论
309 收藏
3.0分
温馨提示:本文档共22页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
本文档由 人生无常 于 2024-03-18 13:31:13上传分享