(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210617236.4 (22)申请日 2022.06.01 (71)申请人 重庆紫光华山智安科技有限公司 地址 400700 重庆市北碚区云汉大道1 17号 附386号 (72)发明人 谭宗喜　 (74)专利代理 机构 北京超凡宏宇专利代理事务 所(特殊普通 合伙) 11463 专利代理师 荣颖佳 (51)Int.Cl. G06F 9/50(2006.01) G06F 9/54(2006.01) H04L 67/1097(2022.01) (54)发明名称 分区扩缩容方法和系统 (57)摘要 本申请提供一种分区扩缩容方法和系统， 在 触发节点缩容和分区缩容时， 可以将各个发送端 发送的数据发送至分区缩容后保留的分区下的 各个节点中。 而各个消费端从分区缩容前的所有 分区下的各个节点中进行数据接收， 如此， 在分 区缩容操作对应的需要删除的分区满足删除条 件时， 再将需要删除的节点以及分区进行删除， 完成缩容。 本方案通过在缩容时， 控制发送端仅 将数据发送至缩容后保留的分区， 而消费端仍然 从所有分区进行数据接收， 如此， 需要删除的分 区下的数据不断被消费而无新增， 等待需要删除 的分区下的数据满足一定条件时， 则可以完成缩 容。 该种方式支持分区的缩容， 并且可 以尽可能 地减少分区数据的迁移， 减少网络传输消耗。 权利要求书2页 说明书11页 附图7页 CN 114936095 A 2022.08.23 CN 114936095 A 1.一种分区扩缩容方法， 其特征在于， 应用于分区扩缩容系 统， 所述系统包括Kafka集 群、 多个消费端和发送端， 所述Kafka集群包括多个节点， 多个节 点被划分为多个 分区， 所述 方法包括： 在触发进行节点缩容和分区缩容 时， 将各所述发送端发送的数据发送至分区缩容后保 留的分区下的各个节点中； 各所述消费端从分区缩容前的所有分区下的各个节点中进行 数据接收； 在分区缩容操作对应的需要删除的分区满足删除条件时， 将需要删除的节点以及 分区 进行删除， 完成缩容。 2.根据权利要求1所述的分区扩缩容方法， 其特征在于， 所述分区扩缩容系统还包括 zookeeper集群， 所述zookeeper集群中记录有分区信息， 各所述发送端发送数据的分区信 息和各所述消费端接收数据的分区信息记录在不同目录下， 所述在触发进 行节点缩容和分 区缩容的步骤之后， 所述方法还 包括： 将各所述发送端对应的目录下的分区信 息更新为缩容后的分区信 息， 将各所述消费端 对应的目录下的分区信息保持为原本的分区信息； 所述将需要删除的节点以及分区进行删除， 完成缩容的步骤之后， 所述方法还 包括： 将各所述消费端对应的目录中的分区信息更新 为缩容后的分区信息 。 3.根据权利要求1所述的分区扩缩容方法， 其特征在于， 所述在分区缩容操作对应的需 要删除的分区满足删除条件时， 将需要删除的节点以及分区进行删除的步骤， 包括： 判断分区缩容操作对应的需要删除的分区中的数据是否需要回溯， 若需要回溯， 则根 据缩容时限要求对需要删除的分区中的数据进行 处理后， 将需要删除的节点以及分区进 行 删除； 若不需要回溯， 则在需要删除的分区中的数据满足失效条件时， 将需要删除的节点以 及分区进行删除。 4.根据权利要求3所述的分区扩缩容方法， 其特征在于， 所述根据缩容 时限要求对需要 删除的分区中的数据进行处 理后， 并将需要删除的节点以及分区进行删除的步骤， 包括： 若缩容时限要求表明需要马 上进行缩容操作， 则将需要删除的分区中的全部数据迁移 至保留的节点上， 并将需要删除的节 点删除， 等待到达 设置的留存期限时， 将需要删除的分 区删除； 若缩容时限要求表明不需要马上进行缩容操作， 则等待到达设置的留存期限时， 将需 要删除的分区进行删除， 并将需要删除的节点删除。 5.根据权利要求3所述的分区扩缩容方法， 其特征在于， 所述若不需要回溯， 则在需要 删除的分区中的数据满足 失效条件时， 将需要删除的节点以及分区进行删除的步骤， 包括： 若不需要回溯， 判断需要删除的分区中的数据 是否全部失效， 若全部失效， 则将需要删 除的节点以及分区进行删除； 若需要删除的分区中的数据 未全部失效， 则根据缩容 时限要求对其中未失效的数据进 行处理， 并将需要删除的节点以及分区进行删除。 6.根据权利要求5所述的分区扩缩容方法， 其特征在于， 所述根据缩容 时限要求对其中 未失效的数据进行处 理， 并将需要删除的节点以及分区进行删除的步骤， 包括： 在缩容时限要求表明需要马 上进行缩容操作时， 则将分区中未失效的数据迁移至保留权　利　要　求　书 1/2 页 2 CN 114936095 A 2的节点上， 并将 需要删除的节点删除， 等待所述分区上 的数据全部被消费或到达设置的留 存期限时， 将需要删除的分区删除； 在缩容时限要求表明不需要马 上进行缩容操作， 则等待分区中最后 一条数据的存入时 间到达设置的留存期限时， 判定该分区中的所有数据失效， 并将需要删除的分区和节点删 除。 7.根据权利要求5所述的分区扩缩容方法， 其特征在于， 所述判断需要删除的分区中的 数据是否全部失效的步骤， 包括： 针对需要删除的各个分区， 获取分区中的最后一条 数据的记录偏移量； 获取各所述消费端在关于消费所述分区中的数据的消费偏移量， 所述消费偏移量表征 所述消费端已消费所述分区中的数据的最大记录偏移量； 在各所述消费偏移量均等于所述记录偏移量时， 判定所述分区中的数据全部失效。 8.根据权利要求1 ‑7任意一项所述的分区扩 缩容方法， 其特 征在于， 所述方法还 包括： 在触发进行节点扩容和分区扩容时， 将需要扩容的分区分布在需要扩容的节点下； 将各所述发送端发送的数据发送至分区扩容后的所有分区下的各个节点中； 各所述消费端从分区扩容后的所有分区下的各个节点中进行 数据接收。 9.一种分区扩缩容系统， 其特征在于， 所述系统包括Kafka集群、 多个消费端和发送端， 所述Kafka集群包括多个节点， 多个节点被划分为多个分区； 在触发进行节点缩容和分区缩容 时， 各所述发送端用于将数据发送至分区缩容后保留 的分区下的各个节点中； 各所述消费端用于从分区缩容前的所有分区下的各个节点中进行 数据接收； 在分区缩容操作对应的需要删除的分区满足删除条件时， 所述多个节点中的管理节点 用于将需要删除的节点以及分区进行删除， 完成缩容。 10.根据权利要求9所述的分区扩缩容系统， 其特征在于， 所述分区扩缩容系统还包括 zookeeper集群， 所述zookeeper集群中记录有分区信息， 各所述发送端发送数据的分区信 息和各所述消费端接收数据的分区信息记录在不同目录下； 所述zookeeper集群用于在触发进行节点缩容和分区缩容时， 将各所述发送端对应的 目录下的分区信息更新为缩容后的分区信息， 将各所述消费端对应的目录下的分区信息保 持为原本的分区信息； 所述zookeeper集群还用于在完成缩容后， 将各所述消费端对应的目录中的分区信息 更新为缩容后的分区信息 。权　利　要　求　书 2/2 页 3 CN 114936095 A 3