(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210659009.8 (22)申请日 2022.06.13 (65)同一申请的已公布的文献号 申请公布号 CN 114745390 A (43)申请公布日 2022.07.12 (73)专利权人 南京赛宁信息技 术有限公司 地址 211100 江苏省南京市江宁区秣周东 路12号 (72)发明人 王国金　谢峥　高庆官　 (74)专利代理 机构 南京苏高专利商标事务所 (普通合伙) 32204 专利代理师 孟红梅 (51)Int.Cl. H04L 67/1001(2022.01) H04L 67/02(2022.01)H04L 61/4511(2022.01) H04L 43/08(2022.01) G06F 9/50(2006.01) G06F 9/48(2006.01) G06F 9/455(2006.01) (56)对比文件 CN 114281520 A,202 2.04.05 CN 110109686 A,2019.08.09 CN 114172811 A,2022.03.11 US 20181 13680 A1,2018.04.26 审查员 洪娟 (54)发明名称 基于微服务架构的网络目标信息采集系统 与方法 (57)摘要 本发明公开了基于微服务架构的网络目标 信息采集系统与方法， 系统包 括Web应用模块、 管 理模块、 多个引擎服务模块以及任务下发、 引擎 注册、 引擎执行等多个消息队列。 本发明将多个 具体实现网络目标的信息采集的引擎工具部署 到一个引擎服务模块中， 引擎服务模块以微服务 的方式部署于Kubernetes集群 的Pod中， 由集群 的副本控制器管理Pod副本运行。 每种引 擎工具 对应有独立的引擎执行队列， 由管理模块在引擎 工具注册时创建， 用于传递引擎工具的执行信 息， 管理模块根据采集任务规划采集流程， 依次 调用流程中涉及的引擎工具， 在不同引擎服务内 的引擎工 具之间实现均衡调度。 本发 明可以提高 系统的稳定性、 抗压性和可维护性。 权利要求书2页 说明书6页 附图5页 CN 114745390 B 2022.10.04 CN 114745390 B 1.一种基于微 服务架构的网络目标信息采集系统， 其特 征在于， 包括： Web应用模块， 用于与用户交 互， 完成采集任务管理； 管理模块， 用于根据用户创建的采集任务规划采集流程， 根据采集流程实现引擎工具 的调度； 多个引擎服务模块， 每个引擎服务中安装有至少一个引擎工具， 至少有一个引擎服务 中安装有多个引擎工具； 所述引擎工具用于实现网络目标 的信息采集； 将多个运行环境相 同引擎工具整合安装到一个引擎服务docker镜像中， 基于引擎服务docker镜像创建 Kubernetes集群Pod副本； 系统通过统计引擎工具的使用频率优化引擎服务中的引擎工具 组合， 使用频率相近的引擎工具组合到一个或多个引擎 服务中； 以及， 多个消息队列， 包括： 任务下发队列， 用于传递采集任务相关信息， 任务下发队列的生产者为Web应用模块， 消费者为管理模块； 引擎注册队列， 用于传递引擎工具注册信 息， 引擎注册队列的生产者为引擎服务模块， 消费者为管理模块； 其中引擎工具注册信息至少包括引擎工具编号和引擎工具所在的引擎 服务的引擎 服务编号； 引擎执行队列， 每一种引擎工具对应有一个引擎执行队列， 由管理模块在引擎工具注 册时创建， 用于传递引擎工具的执行信息， 引擎执行队列的生产者为管理模块， 消费者为队 列对应的引擎工具； 通过引擎执行队列实现在多个引擎服务中相同引擎工具之 间的负载均 衡； 任务结果队列， 用于传递采集任务结果信息， 任务结果队列的生成者为对引擎工具采 集的数据进行处 理的数据分析模块， 消费者 为Web应用模块； 所述管理模块、 引擎服务模块和数据分析模块以微服务的方式部署于Kubernetes集群 的Pod中， 由Kubernetes集群的副本控制器管理Pod副本运行。 2.根据权利要求1所述基于微服务架构的网络目标信 息采集系统， 其特征在于， 所述管 理模块在进行引擎工具注册时， 为每个引擎服务的引擎工具生成注册标识， 并发送给相应 的引擎服务模块， 引擎服务模块保存注册标识， 并定时发送心跳信息， 保持引擎工具的可用 状态。 3.根据权利要求1所述基于微服务架构的网络目标信 息采集系统， 其特征在于， 所述管 理模块在下发执行任务到引擎工具之前， 判断引擎工具所在的引擎服务是否存活， 至少有 一个引擎 服务存活时， 再进行任务下发。 4.根据权利要求1所述基于微服务架构的网络目标信 息采集系统， 其特征在于， 所述管 理模块、 引擎服务模块和数据 分析模块注册到Kubernetes集群的apiserver中由集群统一 监控管理。 5.根据权利要求1所述基于微服务架构的网络目标信 息采集系统， 其特征在于， 根据采 集任务规划的采集流程包括引擎工具调用的先后顺序、 触发子流程的条件和终止子流程的 条件。 6.根据权利要求1所述基于微服务架构的网络目标信息采集系统， 其特征在于， Kubernetes集群 基于Pod水平自动伸缩技 术或者请求数对Pod自动扩 缩容。 7.根据权利要求1所述基于微服务架构的网络目标信 息采集系统， 其特征在于， 所述引权　利　要　求　书 1/2 页 2 CN 114745390 B 2擎服务模块中设有探针， 用于检查网络状态和进程状态， 在发生异常时通知集群主节点进 行异常恢复。 8.根据权利要求1所述基于微服务架构的网络目标信息采集系统， 其特征在于， 所述 Web应用模块， 以及 存储采集任务信息及任务结果信息的数据库， 部署 于Kubernetes集群外 的服务器， 通过Kubernetes  Proxy API访问集群内部的消息队列， 将采集任务发送到集群 内处理。 9.基于根据权利要求1 ‑8任一项所述的基于微服务架构的网络目标信 息采集系统实现 的网络目标信息采集方法， 其特 征在于， 包括如下步骤： 将一个或多个引擎工具集成到不同的引擎服务模块中， 将管理模块、 引擎服务模块和 数据分析模块以微服务的方式部署 于Kubernetes集群的Pod中， 配置各模块的Pod副本数量 或Pod副本自动扩 缩容规则； 各微服务在启动成功后注册到Kubernetes集群的apiserver中； 引擎服务启动后还将 扫描已安装的引擎工具， 将引擎工具编号和引擎服务编号通过引擎注册队列发送到管理模 块； 管理模块在收到引擎工具注册信 息后， 为每一种引擎工具创建一个与其引擎编 号对应 的引擎执 行队列， 用于传递引擎工具的执 行信息； Web应用模块接收用户创建的采集任务， 通过任务下发队列发送到管理模块； 管理模块根据用户创建的采集任务规划采集流程， 采集流程中规划了多个引擎工具的 调度顺序， 管理模块根据采集流程中引擎工具编号， 将引擎工具 的执行信息写入引擎工具 编号对应的引擎执行队列； 该引擎执行队列的一个空闲消费者获取执行信息实现 网络目标 的信息采集， 存 储采集到的原 始结果数据； 数据分析模块对采集到的原始结果数据进行处理， 将任务结果信 息通过任务结果队列 发送到Web应用模块。权　利　要　求　书 2/2 页 3 CN 114745390 B 3