(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210870513.2 (22)申请日 2022.07.22 (71)申请人 北京邮电大 学 地址 100876 北京市海淀区西土城路10号 (72)发明人 乔媛媛　徐明威　陈劲伊　杨洁　 (74)专利代理 机构 北京睿智保诚专利代理事务 所(普通合伙) 11732 专利代理师 韩迎之 (51)Int.Cl. G06F 3/06(2006.01) G06F 11/10(2006.01) G06F 9/48(2006.01) G06F 9/50(2006.01) (54)发明名称 基于Raft的冷数据存 储方法 (57)摘要 本发明公开了一种基于Raft的冷数据存储 方法， 涉及存储技术领域， 包括： 在分布式集群中 构建多个ECRaft组， 所述ECRaft组的组内成员通 过选举得到每个组的领导者； 领导者在组 内周期 性地发送心跳， 并根据心跳信息预测组 内成员状 态； 客户端写入请求到达后， 基于负载情况选择 合适的ECRaft组处理； 被选 择ECRaft组的领导者 将写入请求中包含的数据进行纠删编码， 并根据 预测的组 内成员状态生成并分发日志条目； 所述 领导者通过状态机清理冗余数据并通过心跳同 步更新组 内成员的相关数据， 最终将数据以纠删 码片段的形式存储在所述分布式集群中。 本发明 既节省了冷数据存储过程中的存储空间和网络 开销流量， 同时提高了该过程的效率。 权利要求书3页 说明书8页 附图4页 CN 115048061 A 2022.09.13 CN 115048061 A 1.一种基于Raft的冷数据存 储方法， 其特 征在于， 包括以下步骤： 在分布式集群中构建多个ECRaft组， 所述ECRaft组的组内成员通过选举得到每个 ECRaft组的领导 者； 所述领导 者在组内周期性 地发送心跳， 并根据心跳信息预测组内成员状态； 客户端写入请求到 达后， 基于负载情况选择合 适的ECRaft组处理所述写入请求； 被选择ECRaft组的领导者将所述写入请求中包含的数据进行纠 删编码， 并根据预测的 组内成员状态生成并分发日志条目； 所述领导者通过状态机清理冗余数据并通过心跳同步更新组内成员的相关数据， 最终 将数据以纠删码片段的形式存 储在所述分布式集群中。 2.根据权利要求1所述的一种基于Raft的冷数据存储方法， 其特征在于， 所述在 分布式 集群中构建多个E CRaft组， 具体包括以下步骤： 采用L台服务器组成Multi ‑ECRaft集群， 每台服务器包含若干个工作存储设备和备用 存储设备； 在每台服务器上均匀选取n块型号相同或者容量差值在预设范围内的工作存储设备并 组合得到一个ECRaft组； 其中， 所选取工作存储设备数量总和为N＝2F+1＝k+m， k表示存储 设备存储数据片段的数量、 m表示存 储设备存 储校验片段的数量、 k>m； 重复以上选取及组合过程， 直至ECRaft组数量足够或所有服务器上的工作存储设备都 被取完， 最终得到Q个E CRaft组。 3.根据权利要求2所述的一种基于Raft的冷数据存储方法， 其特征在于， 所述组合得到 一个ECRaft组， 具体包括以下步骤： 根据纠删码的配置以及集群的服 务器数量计算组内成员的分布； 统计集群中的存储设备型号和数量， 从型号最多的存储设备开始分组， 若 同型号的存 储设备数量不够， 则寻找容 量差值在预设范围内的存 储设备进行补充； 统计集群中的每 个服务器上某个型号的存 储设备数量； 从该型号存储设备最多的服务器开始选取， 依次从对应的服务器上取得相应数量的工 作存储设备且每个服务器保留一定比例的备用存储设备未分配； 若每个服务器上存储设备 充足， 则分配成功， 组成E CRaft组并将所述E CRaft组的配置信息加入元 数据管理数据库中； 若服务器上存储设备不充足， 在选择工作存储设备时， 所选型号的数量超过所述 ECRaft组的一半， 则选择容量差值在预设范围内型号的工作存储设备继续组合； 若所选型 号的数量未超过所述ECRaft组的一半， 则中断ECRaft组的选择， 重新选择其他型号的存储 设备， 统计集群中的每个服务器上重新选择型号的存储设备数量并继续进 行ECRaft组的组 合。 4.根据权利要求2所述的一种基于Raft的冷数据存储方法， 其特征在于， 所述ECRaft组 的组内成员通过选举得到每 个ECRaft组的领导 者， 具体包括以下步骤： 各个ECRaft组独立发起领导者选举， 每个ECRaft组内的所有成员均有 随机超时机制， 当固定时间内未收到领导者的心跳会超时成为候选者， 所述候选者向组内其他成员广播竞 选消息； 当其他成员收到所述竞选消息后， 确认自 己的日志和所属任期在所述候选者之前时， 会投出赞成票；权　利　要　求　书 1/3 页 2 CN 115048061 A 2当组内有k个成员投出 赞成票时， 所述 候选者成为领导 者。 5.根据权利要求1所述的一种基于Raft的冷数据存储方法， 其特征在于， 所述预测组内 成员状态， 具体为： 所述领导者周期性向组内其他成员发送心跳信 息， 成员收到心跳信 息后完成更新日志 操作并返回领导者， 所述领导者以最近一次心跳成功响应的成员情况为依据预测组内成员 状态。 6.根据权利要求1所述的一种基于Raft的冷数据存储方法， 其特征在于， 所述选择合适 的ECRaft组处理所述写入请求， 具体包括以下步骤： 判断客户端写入的文件是否存在， 若存在则返回所述文件所在ECRaft组； 若所述 ECRaft组的执行队列已满， 则加入 所述ECRaft组的等待队列； 否则， 加入所述ECR aft组的执 行队列； 若客户端写入 的文件不存在， 则根据各个ECRaft组的任务量情况， 将所述文件分配至 一个任务 量最少的ECRaft组。 7.根据权利要求2所述的一种基于Raft的冷数据存储方法， 其特征在于， 所述生成并分 发日志条目， 具体包括以下步骤： 被选择ECRaft组的领导者对写入请求中的数据块进行纠删编码， 将所述数据块分成k 个大小相同的数据片段， 并编码生成m个校验片段； 领导者根据预测的组内成员状态决定数据的冗余策略， 并将生成的编码片段封装成日 志条目分发给组内各个成员， 具体为： 当所有k+m个成员均被预测为健康时， 领导者将所有编码片段分发到对应的成员上， 并 确保所有片段均已经持久化； 当p个成员被预测为无法接收相应片段且p<＝m时， 领导者将故障成员应保存的编码片 段持久化到每一个健康的成员中， 且健康成员同时保存自己对应的编码片段； 当p个成员被预测为无法接收相应片段且p>m时， 采用副本复制的策略， 领导者将完整 数据封装为日志条目复制到其他 成员中， ECR aft组中半数以上的成员复制成功后即响应客 户端成功； 在领导者分发日志的过程中， 当ECRaft组状态预测错误导致分发日志失败时， 领导者 重新预测并按照最新的ECRaft组状态重新分发； 若重发次数大于系统配置参数q， 则领导者 采用副本复制策略继续重试。 8.根据权利要求7所述的一种基于Raft的冷数据存储方法， 其特征在于， 所述方法还包 括： 若组内成员缺乏已经被领导者提交的日志， 则需领导者将所述日志相应的编码片段复 制给所述组内成员； 若客户端写入请求被领导者成功持久化到组内成员中， 则需领导者提交日志并响应客 户端成功， 完成冷数据存 储过程， 否则领导 者会一直重试直到客户端等待超时。 9.根据权利要求7所述的一种基于Raft的冷数据存储方法， 其特征在于， 所述领导者通 过状态机清理冗余数据并通过心跳同步更新组内成员的相关数据， 具体为： 在领导者分发数据的过程中， ECRaft组故障的出现导致成员持久化不属于所述成员的 编码片段， 当所述编码片段被与之对应的成员重新保存后， 领导者进行状态机删除； 若权　利　要　求　书 2/3 页 3 CN 115048061 A 3